Как найти ошибку нейросети и распространить ее назад? backpropagation
Представим, что у нас есть нейронная сеть, имеющая 1 нейрон во входном слое, 1 скрытый слой с 2 нейронами и 2 нейрона в выходном слое. Если с 1 нейроном в выходном слое все просто, то как найти ошибку которую нужно распространить назад с 2 и более нейронами я понять не могу... И еще вопрос, можно ли обойтись без функции активации?
При обучении нейросети, когда вы используете уже размеченный датасет, вы хорошо знаете, что выйдет у вас на выходе для данного размеченного образца. А у вас вышло на выходе что-то другое. У каждого нейрона на выходном слое будет своя разница между тем, что должно выйти и что вышло реально. Разница между тем, что вышло и должно выйти, это и есть вектор ошибки.
Метод обратного распространения ошибки подправляет веса нейросети так, чтобы минимизировать эту ошибке на каждом выходном нейроне.
.
Без функции активации нейросеть будет эквивалентна одному нейрону. То есть она будет работать, как тривиальный линейный классификатор.