найти стороны a и b прямоугольника, вписанного в окружность единичного

Если сразу отвечать - это квадрат, со стороной a = sqrt(2). А вообще задача решается так:
1. Если прямоуголник вписан в окружность, то его диагональ совпадает с диаметром окружности, который равен 2.
2. Пусть одна сторона прямоугольника равна а. Тогда по теореме Пифагора другая сторона прямоугольника равна:
b = sqrt(4 - a^2)
а площадь прямоугольника равна:
S = a*b = a*sqrt(4 - a^2)
Сделав длину стороны а переменной получим функцию зависимости площади прямоугольника S от длины одной из сторон а:

S(a) = a*sqrt(4 - a^2)
Чтобы найти максимум этой функции (величину стороны а, при которой площадь максиммльна) , возьмем производную по а и приравняем ее к 0:
dS(a)/da = sqrt(4 - a^2) - a*2a/2sqrt(4 - a^2) = sqrt(4 - a^2) - 2a^2/2sqrt(4 - a^2) = 0
Решаем полученное уравнение.
sqrt(4 - a^2) - 2a^2/2sqrt(4 - a^2) = 0
(8 - 2a^2 - 2a^2)/2sqrt(4 - a^2) = 0
8 - 2a^2 - 2a^2 = 0
4а^2 = 8
a = +- sqrt(2)
корень a = - sqrt(2) отбрасываем как нереальный. Исследуем корень:
a = sqrt(2) на максимум.
Подставим в производную а = 1:
dS(a)/da = sqrt(4 - a^2) - a*2a/2sqrt(4 - a^2) = sqrt(3) - 1/2sqrt(3) = (2*3 - 1)/2sqrt(3) = 5/2sqrt(3) > 0
Подставим в производную a = 2 - delta (где delta - очень малая величина.
0 <delta<< 1 < a. Подставлять ровно 2 нельзя, т. к. знаменатель второй дроби обнулится и мы ничего не поймем) . Кроме того, т. к. delta - малая величина, то положим:
a^2 = (2 - delta)^2 = 4 - 4delta + delta^2 = 4 - 4delta
тогда
sqrt(4 - a^2 ) - 2a^2/2sqrt(4 - a^2) = sqrt(4delta) - 2(4 - 4delta)4 - 4delta - 4delta =
= (8delta - 8 + 8delta)/2sqrt(4delta) = (8delta - 4)/sqrt(4delta)
т. к. delta - произвольная очень малая величина, то мы можем выбрать ее так, что:
delta < 1/2
тогда 8delta < 4
и тогда:
(8delta - 4)/sqrt(4delta) < (4 - 4)/sqrt(4delta) = 0
Таким образом получаем, что при переходе через а = sqrt(2) знак производной
dS/da меняется с + на -. Так что а = sqrt(2) - максимум площади. При этом
b = sqrt(4 - a^2) = sqrt(4 - 2) = sqrt(2)
И наш прямоугольник превращается в квадрат, площадью S = 2.
Вот и все!
Успехов!