нужны координаты точек формирующих фигуру в порядке обхода фигуры.
далее берёте одну точку фигуры и берёте вектор исходящий из этой точки к следующей точке и другой вектор исходящий из этой точке к точке которую вы проверяете на вложенность.
ну а дальше вспоминаете чего там математика говорит про векторные произведения векторов.. . про знак такого произведения.. .
но это будет работать только для выпуклых фигур.. . кажется.. .
короче говоря, есть такая книжка как "computer graphics using OpenGL", авторы HiLL и KELLEY
вот в такой обложке:
или вот в такой:

Я думаю, что надо составить уравнение каждой прямой фигуры и сделать проверку, чтобы узнать по какую сторону от линии лежит точка, и таким образом получить ответ. Подскажите в двух словах как проверить слева или справа отпрямой находится точки и есть ли более быстрый, лучший способ получить ответ?