Мне нужно разъяснение, когда именно активируется функция активации. Работа функции активации состоит в том, чтобы ввести нелинейность, правильно. Это просто масштабирование заданного ввода в ограниченном диапазоне?
Как мы узнаем, что нейрон активирован, когда мы используем функцию активации
comment
Да, он активирует нейрон, если вход нейрона приводит к тому, что выход находится в ограниченном диапазоне. Проще говоря, используя функции активации, вы фильтруете нейроны и активируете (используете) только те, выход которых попадает в определенный диапазон.
- person Hadi GhahremanNezhad schedule 22.08.2019
Ответы (2)
Мне нужно разъяснение, когда именно активируется функция активации.
Мы не знаем. Это не логическая вещь, быть «активным» или «неактивным». Возможно, вы думаете о том, возбуждается ли нейрон (отправляет ли он электрический сигнал через свой аксон).
Персептроны («нейроны» программной нейронной сети) не обязательно работают таким образом. Несколько функций активации do имеют жесткие двоичные сигналы (-1 против 1 или 0 против 1), но большинство из них являются непрерывными функциями.
Вместо этого подумайте об этом как о «функции внимания», оценке того, «насколько возбуждается этот нейрон в ответ на ввод?» Например, ReLU (y = max(x, 0)) переводится как «Если это скучно, мне все равно, насколько это скучно; назовите это 0 и двигайтесь дальше». Sigmoid и tanh более разборчивы:
- ниже -2.........забудь
- -2 через 2... да, обратим внимание на плюсы и минусы
- выше 2 .......... Я понял - это очень круто ... не обращайте внимания на остальную часть вашего рекламного предложения, вы уже получили пятерку с плюсом.
Функции активации — это своего рода фильтр нормализации или масштабирования. Они помогают следующему слою эффективно сосредоточиться на различении нерешенных случаев; хорошая функция активации обычно имеет полезный градиент (скажем, около 1,0) в среднем диапазоне («модель не уверена») своих входных данных. Они удерживают дико возбужденный ввод (скажем, +1000) от доминирования в «разговоре» следующего слоя.
person
Prune
schedule
22.08.2019
Выход 1000 окажет непропорционально большое влияние на следующий слой по сравнению с нормальными значениями, скажем, в диапазоне 0-1. Разница в 0,5 в другом входном сигнале будет потеряна по сравнению с элементом +1000.
- person Prune; 26.08.2019
В искусственных нейронных сетях функция активации узла определяет вывод этого узла при заданном вводе или наборе вводов. Стандартную схему компьютерного чипа можно рассматривать как цифровую сеть функций активации, которые могут быть включены (1) или выключены (0), в зависимости от входа.
это зависит от того, о какой функции активации вы говорите. но в целом они используются, чтобы сделать выходные результаты более четкими в регрессии или масштабировать входные данные, чтобы упростить выбор между ними при классификации.
Использованная литература:
- https://medium.com/the-theory-of-everything/understanding-activation-functions-in-neural-networks-9491262884e0
- https://towardsdatascience.com/activation-functions-neural-networks-1cbd9f8d91d6
person
moe assal
schedule
22.08.2019
