Как это решается? Сверху что-то не правильно. Что описывает в приложении, применении к физике или механике?

Все решается, путём сокращений или X.

Вверху - задача минимизации квадратичного функционала. Уравнение Эйлера-Лагранжа (при постоянных а и b) здесь будет такое:
a·y'' = b·y.
Если a≠0 и a и b одного знака, то решением этого диффуравнения (а вместе с тем и функция, минимизирующая данный функционал, если, конечно, не максимизирующая !) будет экспонента, а если разных - (ко) синусоида.
А вообще-то вариационное исчисление довольно широко применяется в механике, физике и технике.. ))

Называется вариационным исчислением