Источники сообщений

Передача информации по каналам связи

Источники сообщений

Пусть имеется система передачи информации, состоящая из источника информации, канала связи и приемника информации (рис. 5.1). Информация поступает в канал связи и затем в приемник информации в виде сообщений. При этом под сообщением будем понимать совокупность символов или первичных сигналов, содержащих информацию. Информация от источника информации, который представляет собой наблюдаемый объект, поступает в первичный преобразователь (датчик, человек-оператор и т.д.), воспринимающий информацию о протекающем в нем процессе или его состояниях. На выходе первичного преобразователя как раз и формируются сообщения. Таким образом, источник информации и первичный преобразователь образуют источник сообщений.

С математической точки зрения под источником сообщений понимают множество возможных сообщений с заданной на этом множестве вероятностной мерой. Различают дискретные источники и непрерывные. Различие между ними в том, что символы в дискретном случае образуют счетное множество, а в непрерывном - множество континуума.

Дискретный источник определен, если перечислены все возможные символы, встречающиеся в сообщениях, и указаны их вероятности, т.е. задано множество

X = {<x_i, p(x_i)> | i = 1, 2, …, n; 0 ≤ p(x_i) ≤ 1; },

где x₁, x₁, …, x_n – символы источника сообщений, p(x₁), p(x₂), …, p(x_n) – их вероятности.

Энтропия дискретного источника сообщения (среднее количество информации), приходящееся на один символ сообщения задается формулой

. (4.1)

Если предположить, что вероятности символов равны, то формула (4.1) принимает вид

H(X) = log n. (5.2)

Данное предположение является грубым, не учитывающим статистические взаимосвязи между символами. Тогда модель, задаваемую формулой (4.2), можно считать грубой моделью или моделью нулевого порядка. Тогда модель источника сообщений, определяемую формулой (4.1), можно считать моделью первого порядка. Если попытаться учесть статистические связи между двумя символами, т.е. условные вероятности p(x_j/x_i), то можно построить модель второго порядка. Аналогично можно построить модели третьего, четвертого и т.д. порядков. Таким образом, получаем последовательность следующего вида:

Так как модель более высокого порядка учитывает больше статистических связей между символами, то с ростом порядка модели значение энтропии уменьшается, т.е. справедливо неравенство

H₀(X) ≥H₁(X) ≥ H₂(X) ≥ H₃(X) ≥ …,

т.е. последовательность H₀(X), H₁(X), H₂(X), H₃(X) … является монотонно убывающей. Поскольку энтропия ограничена снизу, то последовательность сходится к пределу:

.

Например, если рассмотреть сообщения, представляющие собой слова на русском языке, то значение энтропии будет убывать в зависимости от порядка модели: H₀(X) = 5 бит, H₁(X) = 4.42 бит, … . Учитывая, что между буквами алфавита существуют взаимосвязи, например в русском языке довольно часто встречаются сочетания тся, ает, щий, а сочетания аь, иы встретить невозможно, то модели более высоких порядков будут иметь все меньшее значение энтропии и в пределе стремиться к минимально возможному значению.

Так как энтропия характеризует среднее количество информации, приходящееся на один символ сообщения, то если источник сообщений выдает n символов в секунду, то скорость выдачи информации будет составлять

R = nH.