![]() КАТЕГОРИИ:
АстрономияБиологияГеографияДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРиторикаСоциологияСпортСтроительствоТехнологияФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника
|
Энтропия и неопределенность при передаче сообщений
Для разработки системы связи с определенной способностью к обработке сообщений нужна метрика измерения объема передаваемой информации. Шеннон ввел такую метрик Н, называемую энтропией источника сообщений (имеющего n возможных выходных значений). Энтропия определяется как среднее количество информации, приходящееся на один выход источника. Двоичная энтропия:
где р – вероятность появления символа 0 q=1-p – вероятность появления символа 1. Если последовательность из n символов равновероятно принимает какое-либо значение из множества, состоящего из Пусть последовательность Пусть по двоичному симметричному каналу ( дискретный канал без памяти, входной и выходной алфавиты которого состоят из двоичных элементов (0,1)) со скоростью 1000 символов/с передается информация, а априорная вероятность передачи нуля и единицы одинакова. Пусть помехи в канале настолько значительны, что независимо от переданного символа, вероятность приема единицы равна ½ ( то же и для нуля). В таком случае половина принятых символов должна случайно оказаться правильной, и может создаться впечатление, что система обеспечивает скорость 500 бит/c, хотя на самом деле никакой информации не передается. Утраченной является информация о корректности переданных символов. Для оценки неопределенности в принятом сигнале Шеннон использует поправочных коэффициент, который называет неоднозначностью . Неоднозначность определяется как условная энтропия сообщения Х, обусловленная данным сообщением Y:
где Х – сообщение, переданное источником, Y- принятый сигнал,
Неоднозначность можно представить как неуверенность в передаче Х при условии принятия Y. Для канала без ошибок Рассмотрим двоичную последовательность Х, для которой априорные вероятности источника Р(Х=1)=Р(Х=0)=1/2 и где, в среднем, в принятую последовательность из 100 бит канал вносит одну ошибку ( Таким образом, в каждый принятый символ канал вносит 0,081 бит неопределенности. Шеннон показал, что среднее эффективное количество информации
Для системы, передающей равновероятные двоичные символы, энтропия
В предельном случае, когда апостериорная вероятность получения 0 или 1 равна ½, то
1.5 Плоскость «полоса-эффективность»
С помощью уравнения (1.4) можно получить зависимость Рисунок 1.5. Плоскость «полоса-эффективность»
На рисунке 1.5. также показаны рабочие точки для некогерентной ортогональной модуляции MFSK при
|