Энтропия и информационное отношение

С точки зрения теории сжатия и информации энтропия источника — это среднее количество информации (в битах), которую могут передать символы из источника. Неформально говоря, если мы уверены в исходе события, то энтропия меньше.

J. Principe, D. Xu, and J. Fisher, “Information theoretic learning,” in Unsupervised Adaptive Filtering, S. Haykin, Ed. New York: Wiley, 2000, vol. I, pp. 265–319.

Энтропия (Шеннон и Реньи) использовалась в обучении путем минимизации энтропии ошибки как целевой функции вместо среднеквадратичной ошибки.

Мои вопросы

  1. В чем причина минимизации энтропии ошибки? Когда энтропия максимальна, что мы можем сказать об информации? Спасибо

estimation entropy computer-science
person Ria George    schedule 26.07.2014    source источник
comment
Нет, это не связано с домашним заданием. Я столкнулся с энтропией для оценки параметров в статьях - Дениз Эрдогмус, член IEEE, и Хосе С. Принцип, Алгоритм минимизации энтропии ошибок для контролируемого обучения нелинейных адаптивных систем Дж. Принцип, Д. Сюй и Дж. Фишер, «Теоретико-информационное обучение», в книге «Неконтролируемая адаптивная фильтрация», С. Хайкин, изд. Нью-Йорк: Wiley, 2000, том. I, стр. 265–319.   -  person Ria George    schedule 26.07.2014
comment
Вопрос основан на этой статье, я обновлю свой вопрос и попрошу удалить отрицательный голос после того, как обновление будет соответствующим.   -  person Ria George    schedule 26.07.2014
comment
Не знаю, почему тебя минусуют. Это хорошо изученный вопрос, полезный и понятный.   -  person MrAlias    schedule 26.07.2014
comment
@MrAlias: это не по теме.   -  person Mitch Wheat    schedule 26.07.2014
comment
@MitchWheat спасибо за отзыв! Однако для этой цели предназначена функция flag.   -  person MrAlias    schedule 26.07.2014
comment
Действительно? никогда бы не догадался....   -  person Mitch Wheat    schedule 26.07.2014
comment
@RiaGeorge: я бы начал с попытки получить хотя бы несколько грубых описаний ошибки этих авторов и их взаимной информации. минимизация энтропии значения - это примерно просто минимизация отличия значения от ожидаемого, поэтому из вашего описания это звучит так, как будто они минимизируют отличие от ожидаемой ошибки, что бессмысленно. существует явная вероятность того, что вы что-то неправильно поняли или что вы споткнулись на одну из слишком распространенных в настоящее время псевдонаучных вещей.   -  person Cheers and hth. - Alf    schedule 26.07.2014
comment
В этой статье МИНИМИЗАЦИЯ ЭНТРОПИИ ДЛЯ ЗАДАЧ ОЦЕНКИ ПАРАМЕТРОВ С НЕИЗВЕСТНЫМ РАСПРЕДЕЛЕНИЕМ ВЫХОДНОГО ШУМА и papers.nips.cc/paper/ авторы упоминают, что энтропия минимизации ошибок эквивалентна максимизации правдоподобия. Я просто не могу следовать этим терминам и буду благодарен за объяснение простыми словами   -  person Ria George    schedule 26.07.2014

Ответы (1)


arrow_upward
1
arrow_downward

Вероятно, это лучше подходит для CS Stack Overflow, но пока у нас есть тег информатики, я не хочу его отрицать. (Примечание: НЕ переполнение стека CS Theory, это для обсуждений исследовательского уровня, а это нет. Они понизят голос и немедленно закроют.)

Во всяком случае, интуитивный ответ почти такой же, как вы сказали: минимизируя энтропию чего-либо, вы увеличиваете свою способность предсказывать это. Если вы минимизируете энтропию ошибки между моделью и результатами, вы говорите, что увеличиваете предсказательную силу модели.

Чтобы отточить эту интуицию математически, изучите такие вещи, как алгоритм максимизации ожидания, пока вы не усвоите его. Если вы находите EM трудным, тогда идите и изучайте такие вещи, как байесовская вероятность, пока EM не обретет смысл.

person Novak    schedule 27.07.2014
comment
Минимизация энтропии = минимизация информации или наоборот? Под информацией мы подразумеваем информационное содержание или просто информацию, когда говорим, что энтропия Шеннона связана с информацией. Не могли бы вы объяснить в этой части (Q1) влияние максимизации и минимизации энтропии на информацию? Запутался в том, является ли ее информация, или взаимная информация, или информационное содержание, связанное с энтропией. - person Ria George; 28.07.2014
comment
Я не могу разумно объяснить эти вещи в меньшем объеме, чем требуется для этого в оригинальных статьях, нет. - person Novak; 28.07.2014
comment
Не могли бы вы хотя бы ответить на сомнение, что увеличение энтропии = увеличение информации или нет? И если моя эта информация, мы имеем в виду содержание информации или о какой информации мы говорим. Тогда я буду следовать вашим указаниям и учиться. Но эти ответы нельзя найти непосредственно в контексте увеличения энтропии = увеличения или уменьшения информации. - person Ria George; 28.07.2014
comment
Похоже, вы исходите из предположения, что энтропия и информация — это одно и то же. Они не. Энтропия — это мера ожидаемой информации (в вероятностном смысле) случайного процесса. Это также мера неопределенности — обратите внимание, как работают эти отрицательные знаки! Таким образом, когда вы минимизируете энтропию выражения ошибки, вы также минимизируете неопределенность ошибки. И ведь если в ошибке нет неопределенности, то вы, очевидно, знаете, в чем она заключается, и можете ее объяснить. - person Novak; 28.07.2014