Как в Фотошопе ограничить участок на котором я буду работать кисточкой (чтобы случайно не заходить за его пределы) ?

А причём здесь слой-маска? Выделяете и рисуете прямо по слою - всё что за границами выделения изменяться не будет. Если же работать с масками, то нужно создать две копии исходного слоя: верхний с маской выделения. Теперь, если начнёте рисовать по нижнему, то будет "просвечивать" только нужное.