Содержательный (вероятностный) подход при разной вероятности возникновения события.

Бывают случаи, когда поступает сообщение о не равновероятных событиях. Тогда, если N – это общее число возможных исходов какого-то процесса (вытаскивание шара, получение оценки, ловля рыбы), и из них интересующее нас событие (вытаски­вание белого шара, получение пятерки, попадание щуки) может произойти К раз, то вероятность этого события равна p = K/N.

Вероятность выражается в долях единицы. В частном слу­чае, вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый шар); вероятность невозможного собы­тия равна нулю (из 50 белых шаров вытащен черный шар).

Качественную связь между вероятностью события и коли­чеством информации в сообщении об этом событии можно вы­разить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Количественная зависимость между вероятностью события (р) и количеством информации в сооб­щении о нем (i) выражается формулой:

i=log₂ (1/p)

Пример 3.1. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаски­вании «не глядя» попадется белый шар больше, чем вероятность попадания черного. Затем определим количество ин­формации в сообщении о попадании белого шара и чер­ного шара.

Решение. Обозначим р_ч – вероятность попадания при вытаскивании черного шара, р_б – вероятность попада­ния белого шара. Тогда:

р_ч = 10/50 = 0,2; р₆ = 40/50 = 0,8.

Отсюда видно, что вероятность попадания белого шара в 4 раз больше, чем черного.

i_б = log ₂ (l/0,8) = log ₂ (l,25) = 0,321928;

i_ч = log ₂ (l/0,2) = log ₂ 5 = 2,321928.

Вероятностный метод применим и для алфавитного под­хода к измерению информации, заключенной в тексте. Известно, что разные символы (буквы алфавита, знаки препинания и др.) встречаются в тексте с разной час­тотой и, следовательно, имеют разную вероятность. Значит, измерять информационный вес каждого символа в тексте так, как это делалось раньше (в предположении равновероятности), нельзя.

Пример 3.2. В алфавите племени МУМУ всего 4 буквы (А, У, М, К), один знак препинания (точка) и для разделения слов используется пробел. Подсчитали, что в популярном романе «Мумука» содержится всего 10000 знаков, из них: букв А – 4000, букв У – 1000, букв М – 2000, букв К – 1500, точек – 500, пробелов – 1000. Какой объем ин­формации содержит книга?

Решение.Поскольку объем книги достаточно большой, то можно до­пустить, что вычисленная по ней частота встречаемости в текс­те каждого из символов алфавита характерна для любого текста языке МУМУ. Подсчитаем частоту встречаемости каждого символа во всем тексте книги (т.е. вероятность) и информационные веса символов:

буква А: 4000/10000 = 0,4; i_A=log ₂ (1/0,4) = 1,321928;

буква У: 1000/10000 = 0,1; i_У=log ₂ (1/0,1) = 3,1928;

буква М: 2000/10000 = 0,2; i_М=log ₂ (1/0,2) = 2,321928;

буква К: 1500/10000 = 0,15; i_К=log ₂ (1/0,15) = 2,736966;

точка: 500/10000 = 0,05; i_точка=log ₂ (1/0,05) = 4,321928;

пробел: 1000/10000 = 0,1; i_пробел=log ₂ (1/0,1) = 3,321928.

Общий объем информации в книге вычислим как суму произведений информационного веса каждого символа на число повторений этого символа в книге:

I = i_А × n_А + i_У × n_У + i_М × n_М + i_К × n_К + i_точка × n_точка + i_пробел × n_пробел =

=1,321928×4000+3,1928×1000+2,321928×2000+2,736966×1500+4,321928×500+3,321928×100=22841,84 бита.

Примечание: