У Softmax есть один приятный атрибут по сравнению со стандартной нормализацией.

Он реагирует на слабую стимуляцию (представьте размытое изображение) вашей нейронной сети довольно равномерным распределением и на высокую стимуляцию (например, большие числа, представьте четкое изображение) с вероятностями, близкими к 0 и 1.

В то время как стандартная нормализация не заботит, пока пропорции одинаковы.

Посмотрите, что происходит, когда soft max имеет в 10 раз больший вход, то есть ваша нейронная сеть получила четкое изображение и активировалось множество нейронов.

>>> softmax([1,2])              # blurry image of a ferret
[0.26894142,      0.73105858])  #     it is a cat perhaps !?
>>> softmax([10,20])            # crisp image of a cat
[0.0000453978687, 0.999954602]) #     it is definitely a CAT !

А потом сравните со стандартной нормализацией

>>> std_norm([1,2])                      # blurry image of a ferret
[0.3333333333333333, 0.6666666666666666] #     it is a cat perhaps !?
>>> std_norm([10,20])                    # crisp image of a cat
[0.3333333333333333, 0.6666666666666666] #     it is a cat perhaps !?

У меня был этот вопрос несколько месяцев. Похоже, мы просто угадали softmax как функцию вывода, а затем интерпретировали ввод softmax как логарифмические вероятности. Как вы сказали, почему бы просто не нормализовать все результаты, разделив их на их сумму? Я нашел ответ в книге по глубокому обучению Гудфеллоу, Бенжио и Курвиль (2016) в разделе 6.2.2.

Скажем, наш последний скрытый слой дает нам z в качестве активации. Тогда softmax определяется как

Очень краткое объяснение

Эксперимент в функции softmax грубо сокращает журнал потерь кросс-энтропии, в результате чего потери становятся примерно линейными по z_i. Это приводит к примерно постоянному градиенту, когда модель ошибочна, что позволяет ей быстро исправляться. Таким образом, неправильный насыщенный softmax не вызывает исчезающего градиента.

Краткое объяснение

Самый популярный метод обучения нейронной сети - это оценка максимального правдоподобия. Мы оцениваем параметры theta таким образом, чтобы максимизировать вероятность обучающих данных (размера m). Поскольку вероятность всего набора обучающих данных является продуктом вероятностей каждой выборки, проще максимизировать логарифмическую вероятность набора данных и, следовательно, сумму логарифмической вероятности каждой проиндексированной выборки. автор: k:

Теперь мы сосредоточимся только на softmax здесь с уже заданным z, поэтому мы можем заменить

где i - правильный класс k-го образца. Теперь мы видим, что когда мы логарифмируем softmax, чтобы вычислить логарифмическую вероятность выборки, мы получаем:

, что для больших различий в z примерно приближается к

Сначала мы видим здесь линейную составляющую z_i. Во-вторых, мы можем изучить поведение max (z) для двух случаев:

1. Если модель верна, то max (z) будет z_i. Таким образом, логарифмическая асимптота правдоподобия равна нулю (то есть вероятность равна 1) с растущей разницей между z_i и другими записями в z.
2. Если модель неверна, то max (z) будет другим z_j> z_i. Таким образом, добавление z_i не отменяет полностью -z_j, и логарифмическая вероятность составляет примерно (z_i - z_j). Это ясно говорит модели, что делать для увеличения логарифмической вероятности: увеличивать z_i и уменьшать z_j.

Мы видим, что в общей логарифмической вероятности будут преобладать выборки, модель которых неверна. Кроме того, даже если модель действительно неверна, что приводит к насыщенному softmax, функция потерь не насыщается. Он примерно линейен по z_j, что означает, что у нас примерно постоянный градиент. Это позволяет модели быстро исправляться. Обратите внимание, что это не относится, например, к среднеквадратической ошибке.

Длинное объяснение

Если softmax по-прежнему кажется вам произвольным выбором, вы можете взглянуть на обоснование использования сигмоида в логистической регрессии:

Почему сигмоидальная функция вместо чего-либо еще?

Softmax - это обобщение сигмоида для мультиклассовых задач, обоснованное аналогичным образом.

Я нашел здесь очень хорошее объяснение: CS231n: сверточные нейронные сети для визуального распознавания.

На первый взгляд алгоритм softmax кажется простой нелинейной (мы распространяем данные экспоненциально) нормализацией. Однако это еще не все.

В частности, есть несколько разных представлений (та же ссылка, что и выше):

1. Теория информации - с точки зрения теории информации функцию softmax можно рассматривать как попытку минимизировать перекрестную энтропию между предсказаниями и истиной.

2. Вероятностный взгляд - с этой точки зрения мы фактически смотрим на логарифмические вероятности, поэтому, когда мы выполняем возведение в степень, мы получаем необработанные вероятности. В этом случае уравнение softmax находит MLE (оценка максимального правдоподобия)

Таким образом, даже если уравнение softmax кажется произвольным, это НЕ. На самом деле это довольно принципиальный способ нормализации классификаций для минимизации перекрестной энтропии / отрицательного правдоподобия между предсказаниями и истиной.

Значения q_i являются неограниченными оценками, иногда интерпретируемыми как логарифмическая вероятность. Согласно этой интерпретации, чтобы восстановить необработанные значения вероятности, вы должны возвести их в степень.

Одна из причин, по которой статистические алгоритмы часто используют функции потерь логарифма правдоподобия, заключается в том, что они более численно стабильны: произведение вероятностей может быть представлено в виде очень маленького числа с плавающей запятой. Используя функцию потерь логарифма правдоподобия, произведение вероятностей становится суммой.

Другая причина заключается в том, что логарифмическая вероятность возникает естественным образом при выводе оценок для случайных величин, которые, как предполагается, выводятся из многомерных гауссовских распределений. См., Например, оценку максимального правдоподобия (ML) и то, как она связана с методом наименьших квадратов.

Мы рассматриваем проблему мультиклассовой классификации. То есть прогнозируемая переменная y может принимать одну из k категорий, где k > 2. В теории вероятностей это обычно моделируется полиномиальным распределением. Мультиномиальное распределение является членом экспоненциального семейного распределения. Мы можем восстановить вероятность P(k=?|x), используя свойства экспоненциальных семейных распределений, она совпадает с формулой softmax.

Если вы считаете, что проблема может быть смоделирована другим дистрибутивом, отличным от полиномиального, вы можете прийти к заключению, отличному от softmax.

Для получения дополнительной информации и формального вывода см. лекции CS229 (9.3 Регрессия Softmax) .

Выбор функции softmax кажется как-то произвольным, так как есть много других возможных нормализующих функций. Таким образом, неясно, почему потеря log-softmax будет работать лучше, чем другие альтернативы потерь.

Из «Исследования альтернатив Softmax, относящихся к семейству сферических потерь» https://arxiv.org/abs/1511.05042

Авторы исследовали некоторые другие функции, среди которых расширение Тейлора exp и так называемый сферический softmax, и обнаружили, что иногда они могут работать лучше, чем обычно softmax.

Я думаю, что одна из причин может заключаться в том, чтобы иметь дело с отрицательными числами и делением на ноль, поскольку exp (x) всегда будет положительным и больше нуля.

Например, для a = [-2, -1, 1, 2] сумма будет равна 0, мы можем использовать softmax, чтобы избежать деления на ноль.

Предположим, мы изменили функцию softmax так, чтобы активации вывода задавались

где c - положительная константа. Обратите внимание, что c=1 соответствует стандартной функции softmax. Но если мы используем другое значение c, мы получим другую функцию, которая, тем не менее, качественно очень похожа на softmax. В частности, покажите, что выходные активации образуют распределение вероятностей, как и для обычного softmax. Предположим, мы позволяем c становиться большим, то есть c→∞. Какое предельное значение для активации выходов a^L_j? После решения этой проблемы вам должно быть ясно, почему мы думаем о функции c=1 как о «смягченной» версии функции-максимума. Отсюда и возник термин «softmax». Вы можете следить за деталями из этого источника (уравнение 83).

Добавляя к ответу Петра Чапла, чем больше входные значения, тем больше вероятность для максимального входа, для той же пропорции и по сравнению с другими входами:

Хотя это действительно несколько произвольных, softmax имеет такие желательные свойства, как:

• быть легко дифференцируемым (df/dx = f*(1-f))
• при использовании в качестве выходного уровня для задачи классификации входящие оценки интерпретируются как log-odds