Mail.ruПочтаМой МирОдноклассникиВКонтактеИгрыЗнакомстваНовостиКалендарьОблакоЗаметкиВсе проекты

Почему нельзя веса в нейросети инициализировать нулями?

Привет, людЯм!!! Мастер (1194), открыт 1 неделю назад
Чем такой подход чреват? И почему?
4 ответа
Андрей Высший разум (438335) 1 неделю назад
Потому, что в этом случае на выходе мы получим никак не зависящее от входных данных константное значение. Как мы сможем понять, в какую сторону менять веса, если значение на выходе никак не зависит от того, что мы подали на вход?

Нейросеть - всего лишь очень сложная алгебраическая функция, составленная из комбинаций простых алгебраических функций - нейронов. И если внутри этой функции все коэф-ты обнулить, то что мы получим на выходе?
V̲i̲s̲t̲a̲s̲t̲e̲r̲ Искусственный Интеллект (251113) 1 неделю назад
Нужно разрушить симметрию нейронов случайными весами из данного распределения, иначе они не смогут обучаться дифференцировано.
del Мудрец (19451) 1 неделю назад
>>Почему нельзя веса в нейросети инициализировать нулями?
можно " инициализировать нулями"

>>Чем такой подход чреват?
Это сделает полностью неработоспособным алгоритм обратного распространения ошибки.

>>И почему?
Ошибки или правильные ответы не будут оказывать влияние на процесс обучения нейросети. т.е. обучение станет невозможным.
Алекс Куха Высший разум (452299) 1 неделю назад
Вес в данном контексте множитель. Что будет, если число на ноль умножить?
Похожие вопросы