Количество информации. Формулы Хартли и Шеннона.

Хартли в 1928, а затем Шеннон в 1948 предложили формулы для вычисления количества информации, но вопрос о природе информации остался открытым. Шеннон научился измерять количество информации, передаваемой по каналам связи, однако на вопрос о том, что такое информация он не ответил.

Формула Хартли. В 1928 Хартли предложил формулу для вычисления количества информации, необходимого для нахождения (угадывания) одного выделенного элемента x из множества M, содержащего N элементов. Это количество информации вычисляется по формуле

H =Log ₂(N).

Неопределённость ситуации (энтропия H) в этом случае тем больше, чем больше N. Очевидно, что при N=1 неопределённость вообще отсутствует - Н=0; В этом случае множество М состоит из одного элемента, и количество информации, необходимое для нахождения x, равно нулю.

Если N =2, то для «угадывания» одно элемента из требуется Н=Log₂(2) =1 единица информации. Это количество информации принято за единицу измерения и называется 1 бит.

Дальнейшее развитие теория измерения информации получила в работа К. Шеннона.

В 1948 году Шеннон опубликовал свой opus magnum «Математическая теория связи». Вот как он формулировал задачу: «фундаментальной проблемой связи является воспроизведение в одной точке, точно или приблизительно, сообщения, собранного в другой точке». Собственно, вся терминология науки о коммуникациях была введена именно Шенноном.

В теории Шеннона изучаются сведения, которые кодируются и передаются в форме сигналов техническими средствами. (Это скорее ДАННЫЕ, чем информация). Здесь можно ввести количественную меру информации - 1 бит.

Суть подхода Шеннона к определению количества информации, необходимого для выяснения состояния некоторой системы, состоит в следующем.

Определение.Если Х – случайная величина (физическая система),принимающая значения (состояния) x_i c вероятностью р_{i ,}то энтропия случайной величины X

H(X)= - Sр_i * Log ₂ (р_i) , i = 1,2,...n

Sр_{i = 1.}

Наибольшее значение H(X) принимает в случае, когда все р_i = p = 1/n :

H(X) = Log ₂ (n),

и мы приходим к формуле Хартли.

Теорема:

Log ₂ (n) >= - Sр_i * Log ₂ (р_i)

Вероятность - количественная мера возможности некоторого события. Некоторые события более возможны, чем другие. Есть невозможное событие Q- его вероятность р(Q) =0. Есть достоверное событие W, его вероятность р(W)= 1. Для других событий A, которые не являются ни достоверными, ни невозможными выполняется соотношение 0 < p(A) < 1.

Первоначально Шеннон интересовался передачей зашифрованных сообщений, и предложил способ вычисления количества информации, содержащейся в таком сообщении.

Текстовое сообщение, состоящее из N букв содержит

единиц информации, где М -число букв в алфавите, p_i - частота буквы под номером i.

Каждое передаваемое сообщение имеет свое содержание. Но в подходе Шеннона оно совершенно несущественно при передаче информации по каналу связи. Бессмысленные сообщения передаются также, как и осмысленные. Количество информации, вычисленное по формуле Шеннона, для осмысленного сообщения, и сообщения полученного из него произвольной перестановкой букв, будет одинаковым.

Если алфавит бинарный = {1;0}, и сообщение состоит из N букв, то I = Log₂(2^N) = N бит.