Можно ли вывозить камень с горы?

Смотря какой и где

Да конечно можно, собирайте сколько хотите, но если они ни кому не принадлежат и ваше собирательство не перейдёт в промышленные масштабы, например разобрать каменистый склон это нарушения статей связанных с охраной природы и на такие работы необходимо разрешение, или набрать гравий у железной дороги тоже нарушение приравненное к краже.

Если эта гора Акрополь в Афинах, то вы можете заплатить нехилый штраф.