Факел - почему люди не используют активацию явно?

Всякий раз, когда я видел нейронные сети, реализованные в Torch, nn, они только соединяли модули. Например, есть модуль секвенсора с LookupTable, Splittable, FasLSTM, Linear, LogSoftMax. Почему люди не используют промежуточные функции активации, такие как tanh/Sigmoid/ReLu?


torch activation-function
person hypnoticpoisons    schedule 29.11.2016    source источник

Ответы (1)


arrow_upward
0
arrow_downward

У вас есть пример? Обычно между слоями используются ReLu или TanH.

Вы бы не использовали их между функциями манипулирования таблицами и т. д., поскольку они не являются «настоящими» слоями нейронной сети с параметрами.

person Sander    schedule 13.12.2016