Синтаксическая мера информации

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных Vдв сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соот­ветственно меняется единица измерения данных:

• в двоичной системе счисления единица измерения — бит (bit — binary digit — двоичный разряд);

• в десятичной системе счисления единица измерения — дит (десятичный разряд).

Количество информации Iизмеряется величиной, на которую уменьшается неопределённость состояния системы после получения сообщения. Меру неопределённости системы называют энтропией (Н).

Н=log₂N, где N – число возможных состояний системы.

При обмене сообщениями например в чате получатель информации не знает, какую клавишу на клавиатуре нажал в данный момент отправитель сообщения. Другими словами: существует неопреде­ленность состояния системы связи при приеме информации (неизвестно, какой сигнал передается в данный момент времени по каналу связи).

Чем выше неопре­деленность (неизвестность, неосведомленность), тем больше энтропия системы.

Энтропия характеризует степень упорядоченности передаваемого текста, сте­пень его отклонения от полного хаоса. В наиболее хаотичном тексте вероятности появления любых букв (символов) текста практически одинаковые. В этом случае текст представляет собой нечитаемый набор бессмысленных символов. Бессмыс­ленный нечитаемый текст, состоящий из равновероятных символов, имеет наибо­льшую энтропию. Наведение «порядка» среди букв, то есть формирование осмыс­ленного текста, снижает энтропию (неопределенность).

Предположим, что получатель информации имеет какие-то предварительные (априорные) сведения о некоторой системе а. Мерой неосведомленности получа­теля информации о системе а является функция Н(α).

После получения по каналу связи некоторого сообщения р получатель приоб­ретает дополнительную информацию I_β(α). Полученная информация уменьшает имевшуюся (говорят, априорную)неосведомленность Н(α) которая в результате получения сообщения становится равной H_β(α). Новую неопределенность H_β(α)называют апостериорной,то есть неопределенностью после проведения опыта (пе­редачи и приема сообщения р).

Таким образом, количество принятой информации можно выразить соотноше­нием;

I_β(α) = Н(α).- H_β(α)

Простыми словами это соотношение можно прокомментировать так: количест­во информации 1р(а), содержащейся в полученном сообщении р, измеряется ве­личиной уменьшения неосведомленности (незнания) о состоянии системы а. То есть информация увеличивает знание.

Количество __ Априорная ___ Апостериорная