Количественная оценка информации

В качестве основной характеристики сообщения теория информации принимает величину, называемую количеством информации. Это понятие не затрагивает смысла и важности передаваемого сообщения, а связано со степенью его неопределенности.

Пусть алфавит источника сообщений состоит из m знаков, каждый из которых может служить элементом сообщения. Количество N возможных сообщений длины nравно числу перестановок с неограниченными повторениями:

N = mⁿ

Количество информации, приходящееся на один элемент сообщения (знак, букву), называется энтропией:

(бит)

Основание логарифма 2, т.к., измерения производят в битах.

Мера информации - критерий оценки количества информации.

I = log N = log mⁿ = n log m

Пример. Определить количество информации, которое содержится в телевизионном сигнале, соответствующем одному кадру развертки. Пусть в кадре 625 строк, а сигнал, соответствующий одной строке, представляет собой последовательность из 600 случайных по амплитуде импульсов, причем амплитуда импульса может принять любое из 8 значений с шагом в 1 В.

Решение. В рассматриваемом случае длина сообщения, соответствующая одной строке, равна числу случайных по амплитуде импульсов в ней: n = 600.

Количество элементов сообщения (знаков) в одной строке равно числу значений, которое может принять амплитуда импульсов в строке,: m = 8.

Количество информации в одной строке: бит, а количество информации в кадре: I = 625 I = 1,125 × 10⁶ бит.

Рассмотренная выше оценка информации основана на предположении о равновероятности всех знаков алфавита.

В общем случае каждый из знаков появляется в сообщении с различной вероятностью.

Для таких систем используют более подходящую меру К. Шеннона.

Пусть на основании статистического анализа известно, что в сообщении длиныn знак x_i появляется n_i раз, т.е. вероятность появления знака:

Формулы Шеннона для количества информации и энтропии имеют вид: