![]() КАТЕГОРИИ:
АстрономияБиологияГеографияДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРиторикаСоциологияСпортСтроительствоТехнологияФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника
|
Энтропия источника непрерывных сообщенийСтр 1 из 3Следующая ⇒ Физико-технический институт
Л Е К Ц И Я № 30 Тема:«Количественная мера информации» Текст лекции по дисциплине:«Теория электрической связи»
Г. Калининград 2013 г. Текст лекции № 30 по дисциплине:«Теория электрической связи» «Количественная мера информации»
Введение
Многие источники имеют на выходе непрерывное сообщение. Для его передачи по каналу связи необходимо знать информационные характеристики. Данную задачу можно решить, опираясь на знания характеристик источника дискретных сообщений. Поэтому для усвоения материала данной лекции необходимо знать методику определения информационных параметров дискретных сообщений. Для глубокого понимания вопросов лекции вы должны вспомнить материал высшей математики. Знание вопросов данной лекции поможет вам глубоко освоить комплекс специальных дисциплин.
Энтропия источника непрерывных сообщений
Рассмотрим источник непрерывных сообщений, на выходе которого в каждый момент времени Если бы сообщения могли передаваться по каналам абсолютно точно без искажений, то они содержали бы неограниченное количество информации. На самом деле из-за наличия помех и искажений количество информации, получаемой от такого источника, следует определять как разность энтропии до и после получения информации. Эта разность, в отличие от абсолютной величины энтропии источника непрерывных сообщений, имеет конечную величину. Для её нахождения обобщим рассмотренное ранее понятие энтропии источника дискретных сообщений на случай непрерывных сообщений, воспользовавшись естественным предельным переходом.
Обратимся к сигналу
Произведём квантование области значений
При этом приближение тем точнее, чем меньше интервал (шаг квантования) Энтропия такого «дискретного» сигнала равна:
Перейдем теперь к энтропии непрерывного сигнала, для чего устремим величину
Во втором слагаемом величина
В этом выражении первое слагаемое является конечной величиной, которая определяется плотностью распределения
Второе слагаемое при ∆S→0 стремится к бесконечности независимо от значений плотности распределения вероятностей сигнала W(Si). Это означает, что при переходе от дискретной к непрерывной величине энтропия неограниченно возрастает. Это объясняется тем, что при ∆S→0 вероятности попадания в такие малые отрезки становятся бесконечно малыми величинами. В результате неожиданность или непредсказуемость реализаций становится неограниченно большой. Дифференциальная энтропия гауссовскoго шума с нулевым средним значением и дисперсией
Из данного выражения видно, что дифференциальная энтропия гауссовской величины зависит только от значения дисперсии. При этом с ее увеличением дифференциальная энтропия будет монотонно возрастать.
Выводы 1. Из всех видов возможных распределений вероятностей случайных процессов, у которых дисперсия
|