![]() КАТЕГОРИИ:
АстрономияБиологияГеографияДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРиторикаСоциологияСпортСтроительствоТехнологияФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника
|
Условная энтропия и ее свойства.
Рассмотрим дискретный канал без памяти, на входе и выходе которого имеются ансамбли дискретных сообщений A и B соответственно. Задача заключается в том, чтобы определить количество информации, переданной по этому каналу. Иначе говоря, необходимо найти информацию, содержащуюся в принятом сообщении Пусть известны
Введем понятие условной энтропии, которую определим как математическое ожидание, аналогичное тому, как это было сделано ранее для энтропии источника сообщений:
Условная энтропия обладает следующими свойствами: 1. 2. Учитывая сказанное, условную энтропию ИДС обычно трактуют как количество информации, которое теряется из-за помех и не поступает получателю. Ясно, что полная потеря информации является крайним случаем и в реальных условиях практически не встречается. Величину
Выводы 1. Условная энтропия представляет собой количество информации, которое теряется из-за помех и не поступает получателю. 2. Условная энтропия всегда положительна (ее свойство).
|