Студопедия

КАТЕГОРИИ:

АстрономияБиологияГеографияДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРиторикаСоциологияСпортСтроительствоТехнологияФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника


Синтаксическая мера информации.




Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объём данных Vд в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

В двоичной системе счисления единица измерения – бит (bit – binary digit – двоичный разряд). Наряду с минимальной единицей измерения данных "бит" широко используется укрупнённая единица измерения "байт", равная 8 бит.

Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределённости состояния системы (энтропии системы). Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомлённости получателя о состоянии этой системы. Рассмотрим это понятие.

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе a. Мерой его неосведомлённости о системе является функция H(a), которая в то же время служит и мерой неопределённости состояния системы.

После получения некоторого сообщения b получатель приобрёл некоторую дополнительную информацию Ib(a), уменьшившую его априорную неосведомлённость так, что апостериорная (после получения сообщения b) неопределённость состояния системы стала Hb(a).

Тогда количество информации Ib(a) о системе, полученной в сообщении b определится так

Ib(a) = H(a)- Hb(a),

 

т.е. количество информации измеряется изменением (уменьшением) неопределённости состояния системы.

Если конечная неопределённость Hb(a) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации Ib(a) = H(a). Иными словами энтропия системы H(a) может рассматриваться как мера недостаточности информации.

Энтропия системы H(a), имеющая N возможных состояний, согласно формуле Шеннона (1995г.), равна:

 

,

 

где Pi – вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны , её энтропия определяется соотношением

 

.

 

Часто информация кодируется числовыми кодами в той или иной системе счисления. А особенно это актуально при представлении информации в компьютере. Естественно, одно и то же количество разрядов в разных системах счисления может передавать разное число состояний отображаемого объекта, что можно представить в виде соотношения

 

N = m n,

 

где N – число всевозможных отображаемых состояний;

m – основание системы счисления (разнообразие символов, применяемых в алфавите);

n – число разрядов (символов) в сообщении.

Пример: По каналу связи передаётся n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций равно N = m n, то при равновероятности появления любой из них количество информации, приобретённой абонентом в результате получения сообщения, будет равно I = n log m – формула Хартли.

Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объёму данных I = Vд, полученных по каналу связи.

Для неравновероятных состояний системы всегда I < Vд = n.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.


Поделиться:

Дата добавления: 2015-01-01; просмотров: 103; Мы поможем в написании вашей работы!; Нарушение авторских прав





lektsii.com - Лекции.Ком - 2014-2024 год. (0.008 сек.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав
Главная страница Случайная страница Контакты