КІЛЬКІСНА ОЦІНКА ІНФОРМАЦІЇ

Загальне число повідомлень, що не повторюються, яке може бути складене з алфавіту m шляхом комбінування по n символів в повідомленні

. (1)

Невизначеність, що припадає на символ первинного (кодованого)[1] алфавіту, складеного з рівноймовірних і взаємнонезалежих символів

. (2)

(Основа логарифма впливає лише на зручність обчислень)

У разі оцінки ентропії:

а) у двійкових одиницях

б) у десяткових одиницях

де ;

в) у натуральних одиницях

де

Оскільки інформація є невизначеністю, яка знімається при отриманні повідомлення, тоді кількість інформації може бути представлена як добуток загального числа повідомлень к на середню ентропію Н, що припадає на одне повідомлення:

(3)

Для випадків рівноймовірних і взаємонезалежних символів первинного алфавіту кількість інформації в к повідомленнях алфавіту m рівно

У випадку N=mⁿентропія, а отже й кількість інформації є максимальною:

I=logmⁿ=n logm.

Для нерівноймовірних алфавітів ентропія на символ алфавіту

(4)

а кількість інформації в повідомленні, складеному з к нерівноймовірних символів

(5)

При розв’язанні задач, в яких ентропія обчислюється як сума добутків ймовірності на її логарифм, незалежно від того, чи є вони безумовними , умовними або ймовірністю сумісних подій .

Кількість інформації визначається виключно характеристиками первинного алфавіту, об'єм – характеристиками вторинного алфавіту. Об'єм[2] інформації

(6)

де l_сер– середня довжина кодових слів вторинного алфавіту.

Для рівномірних кодів (всі комбінації коду містять однакову кількість розрядів)

де n – довжина коду (число елементарних посилок в коді). Згідно до (3), об'єм дорівнює кількості інформації, якщо l_сер=Н, тобто у разі максимального інформа-ційного навантаження на символ повідомлення. У решті всіх випадків .

Наприклад, якщо кодувати в коді Бодо деякий рівноймовірний алфавіт, що складається з 32 символів, то

При нерівноймовірних елементарних повідомленнях x_i ентропія зменшується. У зв'язку з цим вводиться така міра джерела, як статистична надлишковість