содержательный подход

Ответ от GEMMA[гуру]

Содержательный подход
С позиции содержательного подхода к измерению информации решается вопрос о количестве информации в сообщении, получаемом человеком. Рассматривается следующая ситуация:
1) человек получает сообщение о некотором событии; при этом заранее известна неопределенность знания человека об ожидаемом событии. Неопределенность знания может быть выражена либо числом возможных вариантов события, либо вероятностью ожидаемых вариантов события;
2) в результате получения сообщения неопределенность знания снимается: из некоторого возможного количества вариантов оказался выбранным один;
3) по формуле вычисляется количество информации в полученном сообщении, выраженное в битах.
Формула, используемая для вычисления количества информации, зависит от ситуаций, которых может
Пример 1. Сколько информации содержит сообщение о том, что из колоды карт достали даму пик?
В колоде 32 карты. В перемешанной колоде выпадение любой карты -- равновероятные события. Если i -- количество информации в сообщении о том, что выпала конкретная карта (например, дама пик) , то из уравнения Хартли:
2i = 32 = 25
Отсюда: i = 5 бит.
Пример 2. Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?
Считая выпадение любой грани событием равновероятным, запишем формулу Хартли: 2i = 6. Отсюда: i = log26 = 2,58496 бит.
Не равновероятные события (вероятностный подход)
Если вероятность некоторого события равна p, а i (бит) -- это количество информации в сообщении о том, что произошло это событие, то данные величины связаны между собой формулой:
2i = 1/p (3)
Решая показательное уравнение (3) относительно i, получаем:
i = log2(1/p) (4)
Формула (4) была предложена К. Шенноном, поэтому ее называют формулой Шеннона