Как сделать текст в фотошопе не пиксельным при маленьком разрешении

Растровая графика - это и есть работа с пикселями. Единственное что можно сделать - это увеличить количество пикселей на дюйм. Ещё при работе с пикселями в максимальном приближении - может вылазить сетка, которая сильно мешает, отключается она сочетанием клавиш ctrl+h, а так же в меню "просмотр" -> "вспомогательные элементы".
Ну либо работайте в CorelDRAW (векторная графика) и выводите потом растр.

Сохранять его в векторных форматах, например .svg

Растровая графика состоит из пикселей, поэтому с ними НИЧЕГО нельзя сделать. Если высота буквы будет 1000 пикселей, то она будет выглядеть плавной, а если высота буквы 10 пикселей, то она будет построена из квадратиков, так утроен мир растровой графики. Всё. :)
...а мыльность регулируется вот тут: