![]() КАТЕГОРИИ:
АстрономияБиологияГеографияДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРиторикаСоциологияСпортСтроительствоТехнологияФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника
|
Измерение количества информации3.1.1. Измерение количества информации через неопределённость знаний Поскольку информация уменьшает неопределённость знаний, то для измерения её количества можно воспользоваться мерой неопределённости – информационной энтропией, введённой К. Шенноном. Если до получения информации энтропия была равна H1, а после получения сообщения стала равной H2, то количество полученной информации можно измерить разностью энтропий: I = H1 – H2. Поясним это на примере собаки И.П. Павлова. Пусть собаку кормили (событие B) в интервале времени от 17 до 20 часов, причем обычно после звукового сигнала (событие А). Пусть, например, P(A/B) = 0.9, т. е. событие A предшествовало событию B в 9 случаях из 10. В то же время, звуковой сигнал в этом интервале времени иногда звучал и в тех случаях, когда собаку не кормили (событие P(B) = 0.5, P( Пусть теперь прозвучал сигнал (событие A), и, следовательно, по формуле Байеса [5] можно рассчитать апостериорную вероятность (после опыта) событий В и
Формула Байеса, по-видимому, довольно точно моделирует процесс принятия решений мыслящими существами при поступлении новой информации. Получив сигнал, собака обрела уверенность в том, что сейчас её накормят (вероятность этого равна 0.947), и у нее начала выделяться слюна – а это уже безусловный рефлекс, точно такой же, как у человека. Оценим теперь количество информации, которое получила собака, когда прозвучал сигнал. В нашем примере до звукового сигнала энтропия H1 = – P(B)×Log2 P(B) – P( Другими словами, до звукового сигнала энтропия, являющаяся мерой информационной неопределенности, была максимальна, так как оба возможных события B и H2 = – P(B/A)×Log2 P(B/A) – P( Следовательно, количество информации, которое получила собака, услышав звуковой сигнал, равно I = H1 – H2 = 0.704.
|