Полагаю вопрос относится не совсем к школьный планиметрии, но самый простой способ - просто найти точку (если многоугольник, разумеется, выпуклый), равноудаленную от всех вершин, построить равнобедренные треугольники, и посчитать их площади. Ну или как вариант еще - просто построить пересечение высот к этим сторонам и посчитать так же сумму площадей треугольников полчившихся равнобедренных.