Сколько видеопамяти нужно для обучения нейронки

Question

Сколько видеопамяти нужно для обучения нейронки

Карандаш без чернил Гуру (2748), на голосовании 1 неделю назад

Сколько видеопамяти нужно для обучения нейронки? Хочу обучить языковую модель на 500 - 600 млн параметров в целях школьного проекта, но нету такого железа, которое потянет обучение. Поэтому захотел сервер арендовать, и я не знаю - сколько памяти будет чересчур много, а сколько будет слишком мало.

Answer 1

Принято считать, что 5000 размеченных изображений на категорию должно быть достаточно для создания алгоритма глубокого обучения, который может работать наравне с людьми. Для разработки исключительно сложных моделей требуется как минимум 10 миллионов помеченных элементов.