Есть ли разница между перекрестными потерями энтропии и логистическими потерями?

Я хочу использовать функцию стоимости логистических потерь для моей модели глубокого обучения, чтобы решить проблему двоичной классификации. Я использую керас для создания модели. Однако у keras нет заранее определенной логистической функции потерь.

Читая о функциях потерь, я натолкнулся на запутанные утверждения о перекрестных потерях энтропии и логистических потерях. В этой статье этой википедии есть отдельный раздел, посвященный логистическим потерям и перекрестным потерям энтропии.

Однако в этой статье этой википедии упоминается, что:

Логистические потери иногда называют кросс-энтропийными потерями.

Кроме того, эта страница начинается с:

Потеря журнала, также известная как потеря логистики или потеря кросс-энтропии.

Любая помощь будет оценена по достоинству.


person anas17in    schedule 01.03.2018    source источник
comment
Вопрос может быть более подходящим для datascience.stackexchange.com   -  person Eulenfuchswiesel    schedule 01.03.2018


Ответы (1)


В keras используйте binary_crossentropy для задачи классификации с 2 классом. используйте categorical_crossentropy для более чем 2 классов.

Только оба они одинаковы. Если тензорный поток используется как бэкэнд для keras, то он использует указанную ниже функцию для оценки binary_crossentropy.

tf.nn.sigmoid_cross_entropy_with_logits(labels=target,
                                                   logits=output)

В документации к этой функции ниже упоминается:

Для краткости пусть x = логиты, z = метки. Логистическая потеря составляет

z * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))
person Sunnysinh Solanki    schedule 01.03.2018