Как лучше начинать адаптивную вёрстку. С меньших разрешений к большим или наоборот, или это не имеет значения?

Зависит от макетов, которые у вас есть и, на самом деле, сильно значения не имеет – делайте как вам удобнее:

– если отрисованы все виды, в большинстве случаев проще начинать с мобильного
– если только десктоп, а адаптация на ваше усмотрение, то легче будет начать именно с десктопного макета и поспешно уменьшать окно браузера и вживую смотреть, что уже не помещается или смотрится не очень

С меньшего на большее легче адаптировать, т.к. ты усложняешь интерфейс, а добавить легче, чем убрать и упростить.
Для начала хватит 320, 768 и 1200, а между ними что-нибудь хотя бы похожее на резину

по идее с большей на меньшую

не имеет