информационная энтропия

Ответ от MarZ[гуру]
Информационная энтропия, как определено Шенноном и добавлено другими физиками близко, соотносится с понятием термодинамической энтропии. Это величина, обозначающая несокращаемое (несжимаемое) количество информации, содержимое в данной системе (обычно, — в принимаемом сигнале).
В теории информации
Энтропия в статистической механике имеет тесную связь с информационной энтропией — мерой неопределённости сообщений, которые описываются множеством символов x_1,ldots,x_n и вероятностей p_1,ldots,p_n появления этих символов в сообщении. В теории информации энтропией сообщения с дискретным распределением вероятностей называют величину
Sn = − ∑PkInPk,
k
где
∑Pk = 1.
k
Информационная энтропия равна нулю, когда какая-либо вероятность равна единице (а остальные — нулю), т. е. когда информация полностью предсказуема и не несёт ничего нового для приёмника. Энтропия принимает наибольшее значение для равновероятного распределения, когда все вероятности pk одинаковы; т. е. когда неопределённость, разрешаемая сообщением максимальна. Информационная энтропия также обладает всеми теми математическими свойствами, которыми обладает термодинамическая энтропия. Например, она аддитивна: энтропия нескольких сообщений равна сумме энтропий отдельных сообщений.
Источник: http://www.wikiznanie.ru/ru-wz/index.php/Энтропия