Избыточность информации

Предположим, что необходимо передать сообщение с помощью наименьшего числа символов. Очевидно, что это возможно, если на каждый символ приходится максимальное количество информации, т.е. нужен источник сообщений, вырабатывающий символы, равномерно распределенные и статистически независимые. Назовем такой источник оптимальным, а его энтропию обозначим H_о. Реальные источники передают сообщения, состоящие из не равновероятных и статистически связанных символов. Поэтому энтропия реальных сообщений H_р оказывается меньше энтропии оптимальных сообщений H_о, а число символов для передачи одинакового количества информации – больше:

Таким образом, часть символов n_р - n_о являются избыточными. Мера избыточности реальных сообщений по сравнению с оптимальными обозначается D (называется избыточность) и вычисляется по формуле

.

Отметим, что наличие избыточности нельзя рассматривать как признак несовершенства источника сообщений. Избыточность способствует повышению помехоустойчивости сообщений и точности их приема. Например, высокая избыточность естественных языков обеспечивает надежное общение между людьми.