УМОВНА ЕНТРОПІЯ І ЕНТРОПІЯ ОБ'ЄДНАННЯ

Поняття умовної ентропії в теорії інформації використовується при визначенні взаємозалежності[3] між символами кодованого алфавіту, для визначення втрат при передачі інформації по каналах зв'язку, при обчисленні ентропії об'єднання.

У всіх випадках при обчисленніі умовної ентропії в тому або іншому вигляді використовується умовна ймовірність.

Якщо при передачі n повідомлень символ А з'явився m разів, символ В з'явився l разів, а символ А разом з символом В – до к разів, то ймовірність появи символу А ; ймовірність появи символу В ; ймовірність сумісної появи символів А і В ; умовна ймовірність появи символу А щодо символу В і умовна ймовірність появи символу В щодо символу А

(7)

Якщо відома умовна ймовірність, то можна легко визначити і ймовірність сумісної появи символів А і В, використовуючи вирази (7)

(8)

Від класичного виразу (4) формула умовної ентропії відрізняється тим, що ймовірності в ній ймовірності - умовні:

(9)

(10)

де індекс i вибраний для характеристики довільного стану джерела повідомлення А, індекс j вибраний для характеристики довільного стану адресата В.

Розрізняють поняття частинної і загальної|спільної| умовної ентропії. Вирази (9) і (10) є частинними умовними ентропіями.

Загальна умовна ентропія повідомлення В щодо повідомлення А характеризує кількість інформації, що міститься в будь-якому символі алфавіту, і визначається усереднюванням по всіх символах, тобто по всіх станах з урахуванням ймовірності появи кожного із станів, і дорівнює сумі ймовірності появи символів алфавіту на невизначеність, яка залишається після того, як адресат прийняв сигнал

(11)

Вираз (11) є загальним виразом для визначення кількості інформації на один символ повідомлення для випадку нерівномірних і взаємонезалежних| символів.

Оскільки є ймовірністю сумісної появи двох подій, то формулу (11) можна записати у вигляді:

У загальному випадку, якщо ми передаємо m сигналів А і чекаємо отримати m сигналів В, вплив завад в каналі зв'язку повністю описується канальною матри-цею, яку наведено нижче:

В А	b1 b2 … bj … bm
а1 а2 … ai … am	….………………………………………………………… ............................................................................................ …,

Ймовірності, які розташовані по діагоналі, визначають правильний прийом, останні - помилковий. Значення цифр, що заповнюють колонки канальної матриці, зазвичай зменшуються при віддаленні від головної діагоналі, а при повній відсутності перешкод всі, окрім цифр, розташованих на головній діагоналі, дорівнюють нулю.

Якщо описувати канал зв'язку з боку джерела повідомлень, то проходження даного виду сигналу в даному каналі зв'язку описується розподілом умовної ймовірності виду , так для сигналу розподілом:

(13)

Сума ймовірностей розподілу (13) завжди рівна 1.

Втрати інформації, які припадають на долю сигналу описуються за допомогою частинної умовної ентропії вигляду

. (14)

Підсумовування проводиться по j, оскільки i-ий стан (у даному випадки перший) залишається сталим.

Щоб врахувати втрати при передачі всіх сигналів по даному каналу зв'язку, слід підсумувати всі частинні умовні ентропії, тобто провести подвійне підсумовування по i та j. При цьому у разі рівноймовірних появ сигналів на виході джерела повідомлень

(15)

(на m ділимо, оскільки ентропія є невизначеність на один символ).

У разі нерівноймовірної появи символів джерела повідомлень слід врахувати ймовірність появи кожного символу, помноживши на неї відповідну частинну умовну ентропію. При цьому загальна умовна ентропія

. (16)

Оскільки

то для обчислення загальної умовної ентропії нарівні з виразом (16) може бути використане наступний вираз

(17)

Якщо ми досліджуємо канал зв'язку з боку приймача повідомлень, то з отриманням сигналу припускаємо, що був надісланий якійсь із сигналів. При цьому канальна матриця матиме вигляд

В А	b1 b2 … bj … bm
а1 а2 … ai … am	….………………………………………………………… ............................................................................................ …

В цьому випадку одиниці повинні дорівнювати сумі умовної ймовірності не по рядках, а по стовпцях канальної матриці

.

Частинна умовна ентропія

(18)

а загальна умовна ентропія

(19)

Якщо задані канальна матриця виду (частинна умовна ентропія в цьому випадку відповідає (14)) і безумовна ймовірність виду , то безумовну ймовірність приймача знаходимо як , тобто, якщо задані безумовна ймовірність джерела і канальна матриця, то може бути обчислена ентропія приймача

і навпаки, якщо задані ймовірність виду і канальна матриця, що описує канал зв'язку з боку приймача повідомлень (приватна умовна ентропія при цьому відповідає виразу (17)), то а значить може бути визначена ентропія джерела повідомлень

Ентропія об'єднання використовується для обчислення ентропії сумісної появи статистичних залежних повідомлень. Наприклад, передаючи сто разів цифру 5 по каналу зв'язку з перешкодами, відмітимо, що цифра 5 була прийнята 90 разів, цифра 6 – 8 разів і цифра 4 – 2 рази. Невизначеність виникнення комбінацій вигляду 5 – 4, 5 – 5, 5 – 6 при передачі цифри 5 може бути описана за допомогою ентропії об'єднання. - невизначеність того, що буде послане А, а прийняте В. Дляансамблів переданих повідомлень А і прийнятих повідомлень В ентропія об'єднання є сумою вигляду

(20)

Ентропія об'єднання і умовна ентропія зв'язані між собою наступними спів-відношеннями:

Ентропія об'єднання може бути підрахована за допомогою матриці вигляду

Така матриця володіє чудовою властивістю: при цьому . Ця властивість, у свою чергу, дозволяє обчислюва-ти ентропію як джерела, так і приймача повідомлень безпосередньо за канальною матрицею

, (21)

. (22)

Підсумовування проводиться по i та j, оскільки для того, щоб знайти безумовну вірогідність, необхідно підсумовувати їх по одній координаті (маючи на увазі матричне представлення ймовірності, а для знаходження Н підсумовування проводиться по іншій координаті.

Умовні ймовірність виду і обчислюються як

Кількість інформації на символ повідомлення, переданого по каналу зв'язку, в якому вплив перешкод описується за допомогою ентропії об'єднання, підрахову-ється таким чином

[1] Первинний алфавіт складений з m₁ символів (якісних ознак), за допомогою яких записано передаване повідомлення. Вторинний алфавіт складається з m₂ символів, за допомогою яких повідомлення трансформується в код.

[2] Строго|суворий| кажучи, об'єму|обсягу| інформації не існує. В цей термін вкладаємо те, що звикли|звикалися| під цим мати на увазі, - кількість елементарних символів в прийнятому (вторинному|повторному|) повідомленні.

[3] Суть взаємозалежності символів букв алфавіту полягає в тому, що вірогідність появи i-ої букви в будь-якому місці повідомлення залежить від того, які букви стоять перед нею і після неї, і відрізнятиметься від безумовної вірогідності відомою із статистичних властивостей даного алфавіту.