Информационное содержание —
Если я скажу, что сегодня солнце взойдет на востоке, мы не получим никакого информационного прироста, потому что это универсальная истина. Если мы установим вероятность этого условия, то мы можем обнаружить, что вероятность этого состояния очень высока.
Но если я скажу вам, что завтра произойдет землетрясение, это очень редкое событие, поэтому прирост информации для этого события очень высок. Это вызывает много удивления и на основании этого мы можем сказать
А если неожиданность высока, значит событие маловероятно:
Таким образом, исходя из приведенного выше обсуждения, информационное содержание является функцией вероятности события Ic(P(X = землетрясение)).
Давайте подумаем о другом случае: -
Энтропия -
Энтропия — это мера случайности обрабатываемой информации (большой беспорядок). Другими словами, это мера непредсказуемости. Чем выше энтропия, тем сложнее делать какие-либо выводы из этой информации (очень мало информации о событии).
Информация в теории информации обычно измеряется в битах. Позвольте мне привести простой пример — представьте себе матч серии крикета между Индией и Афганистаном. В матче вероятность победы Индии составляет 99%, а вероятность победы Афганистана — всего 1%. Мы можем представить это, используя обозначение множества как {0,99, 0,01}.
Если Индия выиграет матч, мы не очень удивимся, и, следовательно, информация, «передаваемая» таким событием, невелика. Таким образом, никогда не следует удивляться его исходу. Это, в свою очередь, означает, что информация об этом совпадении равна нулю, следовательно, его собственная информация равна нулю.
В качестве альтернативы, если Афганистан выиграет, мы будем очень удивлены (учитывая то, что мы знаем о результате матча), и поэтому информация о таком событии будет высокой. Математически это можно представить следующей формулой:
Для события матча информация, связанная с победой Индии, будет равна −log2 (0,99) = 0,0144 бита, что довольно мало. В качестве альтернативы, для победы в Афганистане информация равна 6,64 бита. Таким образом, это прекрасно согласуется с интерпретацией информации как «неожиданности», как обсуждалось выше.
Для расчета среднего или ожидаемого значения переменной X:
Для ожидаемого значения информации, если мы определим энтропию, это будет выглядеть так:
Если мы попытаемся вычислить общую энтропию матча по крикету: -
Давайте возьмем пример для максимальной и минимальной энтропии
Давайте возьмем пример подбрасывания монеты, которая всегда выпадает решкой. Очевидно, что результат любого подбрасывания монеты полностью предсказуем, поэтому никогда не следует удивляться его исходу. Это, в свою очередь, означает, что в этом эксперименте нет никакой информации, следовательно, его самоинформация равна нулю.
В случае беспристрастной монеты, где вероятность выпадения орла равна 0,5, результат подбрасывания монеты совершенно непредсказуем. В таком сценарии информация о себе максимальна.
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
Если вам понравилось читать этот пост, пожалуйста, поделитесь им и дайте несколько аплодисментов, чтобы другие могли его найти 👏👏👏👏👏 !!!!
Вы можете следить за мной на Medium, чтобы получать свежие статьи. Кроме того, свяжитесь со мной в LinkedIn.
Если у вас есть какие-либо комментарии, вопросы или рекомендации, не стесняйтесь публиковать их в разделе комментариев ниже!
