Информации неопределенность неопределенность

Порядок расчета энтропии системы и полученной информации зависит от того, какова вероятность появления каждого знака (символа) в сообщении.

Если вероятности появления всех символов выбранного алфавита одинаковы, то испо­льзуется формула Хартли,

Если вероятности появления каждого символа в сооб­щении различны, то используется формула Шеннона.

Формула Хартли применяется в случаях, когда появление различных символов в сообщении равновероятно. Это бывает, например, при передаче по каналу связи результатов математических расчетов (набор цифр), криптографических ключей, паролей и т. п. Получение одного символа из N допустимых символов используе­мого алфавита дает потребителю такой объем информации:

/=log₂N.

Здесь N — число допустимых символов (знаков), которое отправитель может использовать при формировании своего сообщения.

Указанную величину / можно трактовать как количество информации, прихо­дящееся на один символ (знак) сообщения. Согласно формуле Хартли, количество информации, содержащейся в двоичном числе, равно количеству двоичных разря­дов в этом числе. Один разряд двоичного числа позволяет сформировать два знака (символа): 0 и 1. Если N = 2, то I = 1 бит. Для восьмиразрядного числа N= 256, а объем информации, которую несет это число, — / = 8 бит = 1 байт.

Формула Хартли является частным случаем формулы Шеннона. Последняя формула используется при расчете энтропии в ситуациях, когда вероятности появ­ления символов различны:

Здесь pi — вероятность появления /-го символа.

Указанную величину следует трактовать как среднее значение (математическое ожидание) информации, приходящееся на один из неравновероятных символов.

Знак минус в формуле поставлен для того, чтобы измерять информацию поло­жительными числами. В противном случае логарифм числа, меньшего единицы, даст отрицательное значение. Заметим, что

/=i