Можно ли обойтись без функции активации в нейросети?

Question

Можно ли обойтись без функции активации в нейросети?

df df Ученик (59), на голосовании 1 год назад

Будет ли работать нейросеть как надо без функции активации?

Answer 1

Если вы просто просуммируете сигналы всех входов и пошлете дальше, то это просто будет значить, что у вас функция активации:
Ф(x) = x
А вообще без функции... То есть вы хотите, чтобы выход вообще не зависел от входов? Или что вы имеете ввиду?

Answer 2

forem0st Мудрец (14002) 1 год назад

Что за "функция активации"? выражайтесь по-понятнее. Если речь идёт об обучении, то без предварительного обучения никакая нейросеть ничего адекватного выдавать не будет. Обучение может быть как с "учителем" так и самостоятельно нейросетью. Второй вариант намного более долгий...

Amaxar 777Высший разум (129320) 1 год назад

Всм что за функция активации? Это же стандартный термин)

forem0st Мудрец (14002) Amaxar 777, изучал только теорию. Реализациями пользовался ограничено и по необходимости. В любом случае этот термин (функция активации) совсем не отражает сути дела...

forem0stМудрец (14002) 1 год назад

Сила сигнала на выходе зависит от предварительного обучения и является решением задачи. Возможно для начала обучения нужна некая "активация". Это что такое, некий аналог задания начальных значений при решении системы уравнений численым методом или что-то ещё?

Amaxar 777 Высший разум (129320) Нет, вы все поняли нет. Обучение - это процесс нахождение значений для весов (определение подходящих связей между нейронами). Но при любых значениях весов нейросеть преобразует входной сигнал в выходной (обучалась она, не обучалась, не важно). Как нейросеть преобразует входной сигнал в выходной? Одни нейроны получают сигналы, а потом передают какие-то другие сигналы другим нейронам. И так, пока нейкий сигнал не поступит на выход от последнийх нейронов. Теперь как работает каждый нейрон. Он на кучу входов принимает сигналы. А потом решает, насколько сильный сигнал послать на свой выход (насколько сильно ему "активироваться"). Для этого внутрь нейрона "зашивается" функция активации. В качестве аргумента она принимает входной сигнал, а выдает выходной.

Answer 3

Без функции активации сеть будет работать как линейный классификатор, и будет идентична сети из одного нейрона.