Как решается? Основы алгоритмизации и программирования

Ну, одно можно сказать точно: это точно не SQL...

Рассмотрим 3 четверть

if(x*x+y*y<=R*R && y<=0 && -b<=y && x<=0 && -a<=x)...

Первую - самостоятельно

PS: Зачем программистам математика? (с)

Принадлежность точки к кругу высчитывается по теореме Пифагора, потому что проекции ее координат на оси x и y являются катетами прямоугольного треугольника. Если длина гипотенузы будет меньше радиуса круга, то точка будет принадлежать кругу; иначе она будет находится за его пределами.
Третья четверть это то что в прямоугольнике входит в круг, первая четверть то что наоборот в прямоугольнике не входит в круг.
Остальные четверти - то что не входит ни в круг, ни в прямоугольник