Как сгладить пиксели?

При помощи кривых безье инструментом Pen нарисовать нужную форму, перевести в выделение, выделенную область залить нужным цветом.
Это то, что вам нужно сделать с этим узором.

А сгладить пиксели - это как шахматную доску сглаживать. Или листочек в клеточку. Квадратики останутся квадратиками всегда.

сгладить не сгладить - попробуй размыть. в фотошопе: фильтры- размытие- размытие по гауссу (маленькое значение ставь)

смотри в гугле ПЕРЕВОД РАСТРА В ВЕКТОР

размытие по гауссу или размытие по поверхности..