Студопедия

КАТЕГОРИИ:

АстрономияБиологияГеографияДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРиторикаСоциологияСпортСтроительствоТехнологияФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника


Измерение количества информации




3.1.1. Измерение количества информации через неопределённость знаний

Поскольку информация уменьшает неопределённость знаний, то для измерения её количества можно воспользоваться мерой неопределённости – информационной энтропией, введённой К. Шенноном. Если до получения информации энтропия была равна H1, а после получения сообщения стала равной H2, то количество полученной информации можно измерить разностью энтропий: I = H1 H2.

Поясним это на примере собаки И.П. Павлова. Пусть собаку кормили (событие B) в интервале времени от 17 до 20 часов, причем обычно после звукового сигнала (событие А). Пусть, например, P(A/B) = 0.9, т. е. событие A предшествовало событию B в 9 случаях из 10. В то же время, звуковой сигнал в этом интервале времени иногда звучал и в тех случаях, когда собаку не кормили (событие ). Пусть, например, вероятность сигнала в таких случаях равна 0.05, т. е. P(A/ ) = 0.05. В этой ситуации около 17:00 собака уже считает, что шансы получить еду (событие B) в ближайшее время и еще не получить ее (событие ) практически равны. Поэтому априорные вероятности (звукового сигнала еще не было) событий B и в этот период времени примерно одинаковы:

P(B) = 0.5, P( ) = 0.5.

Пусть теперь прозвучал сигнал (событие A), и, следовательно, по формуле Байеса [5] можно рассчитать апостериорную вероятность (после опыта) событий В и :

,

 

.

Формула Байеса, по-видимому, довольно точно моделирует процесс принятия решений мыслящими существами при поступлении новой информации. Получив сигнал, собака обрела уверенность в том, что сейчас её накормят (вероятность этого равна 0.947), и у нее начала выделяться слюна – а это уже безусловный рефлекс, точно такой же, как у человека.

Оценим теперь количество информации, которое получила собака, когда прозвучал сигнал. В нашем примере до звукового сигнала энтропия

H1 = – P(B)×Log2 P(B) – P( )×Log2 P( ) = 1.

Другими словами, до звукового сигнала энтропия, являющаяся мерой информационной неопределенности, была максимальна, так как оба возможных события B и были равновероятны. После сигнала вероятности событий B/A и /A стали существенно отличаться друг от друга и энтропия, соответственно, уменьшилась:

H2 = – P(B/A)×Log2 P(B/A) – P( /A)×Log2 P( /A) = 0.296.

Следовательно, количество информации, которое получила собака, услышав звуковой сигнал, равно

I = H1 – H2 = 0.704.


Поделиться:

Дата добавления: 2015-09-15; просмотров: 42; Мы поможем в написании вашей работы!; Нарушение авторских прав





lektsii.com - Лекции.Ком - 2014-2024 год. (0.007 сек.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав
Главная страница Случайная страница Контакты