Исследование тракта кодер-декодер источника.

1. Найти энтропию, избыточность и производительность источника.

Дискретное сообщение является конечной последовательностью отдельных символов. Для преобразования дискретного сообщения в сигнал необходимо выполнить операцию кодирования сообщения, при котором повышается скорость и помехоустойчивость передачи информации

Основными информационными характеристиками являются количество информации в сообщениях, избыточность сообщений, энтропия, производительность источника сообщений.

Среднее количество информации Н(А), которое приходится на один символ источника сообщений можно найти усреднением по всему объему алфавита. Эта величина называется энтропией источника дискретных сообщений.

Энтропия источника сообщений тесно связана с понятием его избыточности, которое определяется следующим образом:

М – объем алфавита, М=16

Производительность источника определяется, как энтропия в единицу времени.

1. Полагая, что производится примитивное двоичное кодирование символов источника, найти минимально необходимое число разрядов кодового слова. Найти среднее количество двоичных символов, приходящееся на один символ источника.

Примитивное, или безызбыточное, кодирование применяется для согласования алфавита источника и алфавита канала.

Отличительное свойство примитивного кодирования состоит в том, что избыточность дискретного источника, образованного выходом примитивного кодера, равна избыточности источника на входе кодера.

Минимально необходимое число разрядов кодового слова:

При примитивном кодировании среднее число кодовых символов на один символ источника :

1. Полагая, что производится экономное кодирование символов источника двоичным кодом, построить кодовое дерево для кода Шеннона – Фано, записать кодовые комбинации для представления всех 16 символов источника, найти число разрядов каждой полученной комбинации. Найти среднее количество двоичных символов, приходящихся на один символ источника.

Экономное кодирование, или сжатие данных, применяется для уменьшения времени передачи информации или требуемого объема памяти при её хранении. Отличительное свойство экономного кодирования состоит в том, что избыточность источника, образованного выходом кодера, меньше, чем избыточность источника на входе кодера.

Строим кодовое дерево для кода Шеннона - Фано.

Таблица 1.

Символ	Вероятность
А	0.279
В	0.207
М	0.146
И	0.135
Л	0.06
Р	0.05
К	0.039
Е	0.02
Д	0.018
П	0.015
Б	0.009
Г	0.0081
О	0.006
З	0.003
Н	0.003
С	0.0019

Найдём среднее количество двоичных символов, приходящихся на один символ источника:

где - число разрядов кодовой комбинации, соответствующей i-му символу источника, - вероятность i-го символа.

Энтропия на выходе кодера:

бит/код. символ

Энтропия на выходе кодера сравнительно мала. Избыточность на выходе кодера будет равна

%

Здесь m=2 – основание кода (размер алфавитных кодовых символов).

Вывод: сравним значения энтропии источника - и среднего количества двоичных символов, приходящихся на один символ источника - : код Шеннона – Фано позволил получить близкие к Н(А) значения для . Таким образом, целесообразно и эффективно использовать экономное кодирование. Длина сообщения, закодированного экономным кодом, будет в раз меньше, чем примитивным кодом.

1. Рассчитать вероятность двоичных символов и среднюю скорость выдачи двоичных символов на выходе кодера источника.

Вероятности двоичных символов и можно найти, поделив соответственно среднее число 0 и 1 в кодовом слове на среднее число разрядов кодового слова:

На каждый символ источника на входе кодер в среднем выдает двоичных символов на выходе. Следовательно, средняя скорость выдачи двоичных символов на выходе кодера будет в к раз больше скорости выдачи символов источником сообщений.

, где , симв/сек.

1. Описать процедуру кодирования и декодирования символов.

При кодировании происходит процесс преобразования элементов сообщения в соответствующие им числа (кодовые символы). Каждому элементу сообщения присваивается определенная совокупность кодовых символов, которая называется кодовой комбинацией. Совокупность кодовых комбинаций, отображающих дискретные сообщения, образуют код. Правило кодирования может быть выражено кодовой таблицей, в которой приводится алфавит кодируемых сообщений и соответствующие им кодовые комбинации. Множество возможных кодовых символов называется кодовым алфавитом, а их количество m – основанием кода. В общем случае при основании кода m правила кодирования К элементов сообщения сводится к правилам записи К различных чисел в m-двоичной системе счисления. Число разрядов n, образующих кодовую комбинацию, называется разрядностью кода или длиной кодовой комбинации.

Рис. 2 Схема кодера

На вход кодера источника поступает последовательность информационных символов , длиной . При помощи кодера каждому информационному символу присваивается совокупность кодовых символов, таким образом, выходной сигнал кодера источника образован последовательность - , длиной .

В системах передачи дискретных сообщений обычно в результате демодуляции последовательность элементов сигнала превращается в последовательность кодовых символов. Затем по ним восстанавливается сообщение, выдаваемое получателю. Последнее преобразование называется декодированием.

В результате различных искажений и воздействия помех пришедший сигнал может существенно отличаться от переданного.

При примитивном равномерном коде ошибка в канале на протяжении одной кодовой комбинации вызовет ошибочный прием одной буквы, что во многих случаях допустимо. При использовании же экономного кодирования один ошибочно принятый символ может вызвать ошибку в декодировании не одной, а большого числа последующих кодовых комбинации так, если алфавит укрупнен, то единичная ошибка может исказить ряд слов сообщения. Отмечено свойство экономных кодов препятствует их внедрению в каналах связи, где вероятностью ошибки полностью пренебречь нельзя.