Подскажите в какой программе можно набирать формулы (дроби, корни)

Самая лучшая система для набора формул, особенно математических, называется ТЕХ. Вы пишете в определённом виде любые формулы, а программа сама преобразует их к виду, по качеству не отличающемуся от книжного.

Примеры: дробь f(x)/g(x) надо записать в виде $\frac{f(x)}{g(x)}$

интеграл от функции f(x) в пределах A и B в виде $\int_A^B f(x) dx$

корень из 3x+2 в виде $\sqrt(3x+2)$

Значок доллара открывает и закрывает математическое выражение.

С помощью программы формулы получатся так же красиво, как в книге.

И словесный текст можно писать любой. Тоже будет как в книге.

Надо скачать из Инета или скопировать у кого-нибудь LATEX или MicTEX
и научиться им пользоваться. Все математики и многие физики пишут статьи и книги на ТЕХе.