Начиная с какого количества скрытых слоев нейронная сеть считается deep?

Нет никакого количественного порога. Многие авторы глубокой сетью считают такую нейросеть, в которой уже есть один скрытый внутренний слой.
Это связано с историей нейросетей. Первые перцептроны Розенблата были двухслойные и все их теоремы о сходимости алгоритма обучения были доказаны именно для таких сетей. Для трехслойной сети некоторое время не было алгоритмов обучения или не было математических доказательств, что обучение сходится к правильному результату во всех случаях. Поэтому первоначально нейросети разделили на глубокие и неглубокие просто по наличию хотя бы одного скрытого слоя.
Но сейчас двухслойные нейросети на практике уже нигде не применяются. И поэтому некоторые авторы стали трехслойные сети тоже считать неглубокими, особенно, если они не знакомы с историей нейросетей и первое их серьезное знакомство было с нейросетью, где десятки скрытых слоев.