Энтропия последовательности символов. Условная энтропия, удельная энтропия, избыточность и причины ее появления.

Средняя взаимная информация. Скорость создания, скорость передачи и скорость потери информации. Техническая скорость передачи информации.

Скорость передачи информации — скорость передачи данных, выраженная в количестве бит, символов или блоков, передаваемых за единицу времени.

Пропускная способность дискретного канала связи, определение. Пропускная способность двоичного симметричного канала. Пропускная способность непрерывного канала.

Согласование канала с источником информации. Код, алфавит кода, основание кода. Классификация кодов.

Имеет несколько аспектов:

1) Согласование по объёму алфавита

2) Согласование по избыточности, убираем избыточность.