Пропускная способность канала связи

Введение понятий энтропии, количества информации, скорости выдачи информации источником, избыточности позволяют характеризовать свойства систем передачи информации (при этом будем понимать в качестве систем передачи информации также системы ее обработки и хранения). Однако для их сравнения такого описания недостаточно, так как может интересовать не только передача определенного количества информации, но так же передача его в возможно более короткий срок; не только хранение определенного количества информации, но так же хранение его с помощью минимальной по объему аппаратуры и т.п.

Пусть количество информации, которое передается по каналу связи за время Т равно I_T = H_T(X) – H_T(X/Y). Здесь под X понимается вход (сообщение на входе), а под Y – выход канала связи (сообщение на выходе). Если передача сообщения длится Т единиц времени, то скорость передачи информации составит

.

Это количество информации, приходящееся в среднем на одно сообщение за единицу времени. Если в единицу времени передается n сообщений, то скорость передачи будет составлять R = n[H(X) – H(X/Y)].

Пропускная способность канала связи есть максимально достижимая для него скорость передачи информации (или максимальное количество информации, передаваемое за единицу времени):

C = max R = n[H(X) – H(X/Y)]_max = n(I_Y®X )_max (4.3)

Для упрощения записи далее вместо I_Y®X будем писать I(X, Y).

Пропускная способность является важнейшей характеристикой каналов связи, которая определяет, возможна ли передача без задержек по каналу связи. Соответствующее условие формулируется в первой теореме Шеннона о кодировании (для каналов без помех).

Теорема 4.1. Первая теорема Шеннона. Путсь имеется источник информации X с энтропией Н(X) и канал связи с пропускной способностью C. Если C ≥ H(X), то всегда можно закодировать достаточно длинное сообщение таким образом, что оно будет передано без задержек. Если же C < H(X), то передача сообщений без задержек невозможна.

Выше был рассмотрен канал связи без учета помех – идеальная модель. В отличие от нее в реальных каналах всегда присутствуют помехи. Однако, если их уровень настолько мал, что вероятность искажения практически равна нулю, можно условно считать, что все сигналы передаются неискаженными. В этом случае все сказанное ранее остается справедливым. В противном случае необходимо использовать другие, более точные, модели.

Например, рассмотрим бинарный канал связи, пропускную способность которого нужно определить. В таком канале возможна передача только двух символов (двоичных сигналов). При этом с вероятностью p каждый из двоичных сигналов может перейти в противоположный сигнал (рис. 4.2). Такой канал связи называется симметричным бинарным каналом с помехами.

Матрица для нахождения условной вероятности имеет вид:

.

Найдем выражения для H(Y/X) и H(Y), необходимые для определения пропускной способности канала связи:

Тогда пропускная способность бинарного канала определяется по формуле:

Графически функции C = f(p) представлена на рис. 4.3. Наибольшее значение эта функция принимает при p = 0 (то есть при отсутствии помех) и при p = 1 (то есть при негативной передаче). При p=1/2 пропускная способность минимальна.

Подчеркнем, что при решении задачи использовалось равенство

H(X) – H(X/Y) = H(Y) – H(Y/X),

т.е. вместо H(X) и H(X/Y) находились и применялись H(Y) и H(Y/X) (известно, что было послано по каналу связи и что при этом получено).

Теперь рассмотрим более общий случай. На рис. 4.4 представлена модель передачи информации по m-ичному каналу связи с помехами, где x₁, х₂, …, х_m – символы на входе, y₁, y₂, …, y_m – символы на выходе канала. Вероятность ошибки равна p, а вероятность безошибочной передачи сигналов равняется 1- p.

Переданный символ может с одинаковой вероятностью, равной ,быть воспринятым как любой из (m - 1)-го отличных от него символов. Матрица для нахождения условной вероятности имеет вид:

.

Получим выражения для энтропии H(Y/X) и H(Y):

Тогда пропускная способность канала связи определяется по формуле: .

График функции C = f(p) пропускной способности канала связи при m = 4 представлен на рис. 4.5. Эта функция максимальна при p = 0и минимальна (равна 0) при . При p = 1 пропускная способность равна .

Условия передачи сообщений без искажений по каналу связи с помехами сформулированы К.Шенноном в его второй теореме о кодировании (для каналов с помехами).

Теорема 4.2. Вторая теорема Шеннона. Пусть имеется источник информации X, энтропия которого в единицу времени равна H(X), и канал с пропускной способностью C. Если H(X) > C, то при любом кодировании передача сообщений без задержек и искажений невозможна. Если же H(X) ≤ C, то любое достаточно длинное сообщение можно всегда закодировать так, что оно будет передано без задержек и искажений с вероятностью сколь угодно близкой к единице.