Что обозначают большая и маленькая о в мат анализе?

Это порядковые символы для сравнения поведения двух
бесконечно малых или бесконечно больших величин.

f(x)=O(g(x)) означает, что |f(x)/g(x)| <= C, x --> x0.

f(x)=o(g(x)) означает, что f(x)/g(x) --> 0, x --> x0.

Попросту, буква О говорит о том, что f(x) того же порядка (или
"мельче"), что и g(x), а буква о - что f(x) более "мелкая" величина,
чем g(x),