Измерение количества информации

3.1.1. Измерение количества информации через неопределённость знаний

Поскольку информация уменьшает неопределённость знаний, то для измерения её количества можно воспользоваться мерой неопределённости – информационной энтропией, введённой К. Шенноном. Если до получения информации энтропия была равна H₁, а после получения сообщения стала равной H₂, то количество полученной информации можно измерить разностью энтропий: I = H₁ – H₂.

Поясним это на примере собаки И.П. Павлова. Пусть собаку кормили (событие B) в интервале времени от 17 до 20 часов, причем обычно после звукового сигнала (событие А). Пусть, например, P(A/B) = 0.9, т. е. событие A предшествовало событию B в 9 случаях из 10. В то же время, звуковой сигнал в этом интервале времени иногда звучал и в тех случаях, когда собаку не кормили (событие ). Пусть, например, вероятность сигнала в таких случаях равна 0.05, т. е. P(A/ ) = 0.05. В этой ситуации около 17:00 собака уже считает, что шансы получить еду (событие B) в ближайшее время и еще не получить ее (событие ) практически равны. Поэтому априорные вероятности (звукового сигнала еще не было) событий B и в этот период времени примерно одинаковы:

P(B) = 0.5, P( ) = 0.5.

Пусть теперь прозвучал сигнал (событие A), и, следовательно, по формуле Байеса [5] можно рассчитать апостериорную вероятность (после опыта) событий В и :

,

.

Формула Байеса, по-видимому, довольно точно моделирует процесс принятия решений мыслящими существами при поступлении новой информации. Получив сигнал, собака обрела уверенность в том, что сейчас её накормят (вероятность этого равна 0.947), и у нее начала выделяться слюна – а это уже безусловный рефлекс, точно такой же, как у человека.

Оценим теперь количество информации, которое получила собака, когда прозвучал сигнал. В нашем примере до звукового сигнала энтропия

H₁ = – P(B)×Log₂ P(B) – P( )×Log₂ P( ) = 1.

Другими словами, до звукового сигнала энтропия, являющаяся мерой информационной неопределенности, была максимальна, так как оба возможных события B и были равновероятны. После сигнала вероятности событий B/A и /A стали существенно отличаться друг от друга и энтропия, соответственно, уменьшилась:

H₂ = – P(B/A)×Log₂ P(B/A) – P( /A)×Log₂ P( /A) = 0.296.

Следовательно, количество информации, которое получила собака, услышав звуковой сигнал, равно

I = H₁ – H₂ = 0.704.