в чем отличие в фотошопе между векторным и растровым слоем?

Главное различие -- способ описания изображения:
в растровом случае, оно описывается цветами конечного числа точек
в векторном -- конечным набором фигур с описанием их формы, цвета и расположения

Перед тем как отобразить или напечатать на принтере векторное изображение, его необходимо конвертировать в растровое.
Качество векторного изображения не меняется при изменении масштаба, существенном увеличении, в то время, как качество растрового сильно страдает при таких операциях.

Сложные изображения, богатые оттенками, бывает трудно представить в векторной форме, зато векторные изображения проще модифицировать.