Понятие количества информации.

Количество информации – это числовая характеристика сигнала, отражающая ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала.

Эту меру неопределённости в теории информации называют энтропией. Если в результате получения сообщения достигается полная ясность в каком-то вопросе, говорят, что была получена полная или исчерпывающая информация и необходимости в получении дополнительной информации нет. И, наоборот, если после получения сообщения неопределённость осталась прежней, значит, информации получено не было (нулевая информация).

Приведённые рассуждения показывают, что между понятиями информация, неопределённость и возможность выбора существует тесная связь. Так, любая неопределённость предполагает возможность выбора, а любая информация, уменьшая неопределённость, уменьшает и возможность выбора. При полной информации выбора нет. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределённость.

Рассмотрим пример. Человек бросает монету и наблюдает, какой стороной она упадёт. Обе стороны монеты равноправны, поэтому одинаково вероятно, что выпадет одна или другая сторона. Такой ситуации приписывается начальная неопределённость, характеризуемая двумя возможностями. После того, как монета упадёт, достигается полная ясность, и неопределённость исчезает (становится равной нулю).

Приведённый пример относится к группе событий, применительно к которым может быть поставлен вопрос типа «да-нет».

Количество информации, которое можно получить при ответе на вопрос типа «да-нет», называемся битом (англ. bit – сокращённое от binary digit – двоичная единица).

Бит – минимальная единица количества информации, ибо получить информацию меньшую, чем 1 бит, невозможно. При получении информации в 1 бит неопределенность уменьшается в 2 раза. Таким образом, каждое бросание монеты дает нам информацию в 1 бит.

Рассмотрим систему из двух электрических лампочек, которые независимо друг от друга могут быть включены или выключены. Для такой системы возможны следующие состояния:

Лампа А: 0 0 1 1;

Лампа В: 0 1 0 1.

Чтобы получить полную информацию о состоянии системы, необходимо задать два вопроса типа «да-нет» по лампочке А и лампочке В, соответственно. В этом случае количество информации, содержащейся в данной системе, определяется уже в 2 битa, а число возможных состояний системы – 4. Если взять три лампочки, то необходимо задать уже три вопроса и получить 3 битa информации. Количество состояний такой системы равно 8 и т. д.

Связь между количеством информации и числом состояний системы устанавливается формулой Хартли:

i= 1оg₂N,

где i – количество информации в битах; N —число возможных состояний.

Ту же формулу можно представить иначе:

N=2ⁱ.

Группа из 8 битов информации называется байтом.

Если бит – минимальная единица информации, то байт – ее основная единица. Существуют производные единицы информации: килобайт (Кбайт, Кб), мегабайт (Мбайт, Мб), гигабайт (Гбайт, Гб), терабайт (Тбайт, Тб) и т.д.

Таким образом, между понятиями «информация», «неопределённость» и «возможность выбора» существует тесная связь. Любая неопределённость предполагает возможность выбора, а любая информация, уменьшая неопределённость, уменьшает и возможность выбора. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределённость.

Количество информации – это числовая характеристика сигнала, отражающая ту степень неопределённости (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала.