Нашел только Кількісна оцінка ІНФОРМАЦІЇ

Загальне число неповторюваних повідомлень, яке може бути складено з алфавіту m шляхом комбінування з n символів в повідомленні,

. (1)

Невизначеність, яка припадає на символ первинного (кодованого) [1] алфавіту, складеного з равновероятностних і взаємонезалежні символів,

. (2)

Підстава логарифма впливає лише на зручність обчислення. У разі оцінки ентропії:

а) у двійкових одиницях

б) у десяткових одиницях

де ;

в) у натуральних одиницях

де

Так як інформація є невизначеність, змінна при отриманні повідомлення, то кількість інформації може бути представлено як добуток загального числа повідомлень на середню ентропію Н, що припадає на одне повідомлення:

(3)

Для випадків равновероятностних і взаімонензавісімих символів первинного алфавіту кількість інформації в повідомленнях алфавіту m одно

а кількість інформації в повідомленні, складеному з к неравновероятностних символів,

(5)

Для неравновероятностних алфавітів ентропія на символ алфавіту

(4)

При вирішенні завдань, в яких ентропія обчислюється як сума творів ймовірностей на їх логарифм, незалежно від того, чи є вони безумовними , Умовними або ймовірностями спільних подій.

Кількість інформації визначається виключно характеристиками первинного алфавіту, обсяг - характеристиками вторинного алфавіту. Обсяг [2] інформації

(6)

де lср - середня довжина кодових слів вторинного алфавіту. Для рівномірних кодів (всі комбінації коду містять однакову кількість розрядів)

де n - довжина коду (число елементарних посилок в коді). Згідно (3), обсяг дорівнює кількості інформації, якщо lср = Н, тобто у разі максимальної інформаційного навантаження на символ повідомлення. У всіх інших випадках .

Наприклад, якщо кодувати в коді Бодо деякі різновірогідні алфавіт, що складається з 32 символів, то

Якщо закодувати в коді Бодо російська 32-буквений алфавіт, то без урахування кореляції між літерами кількість інформації

тобто якщо в коді існує надмірність і, то обсяг в бітах завжди більше кількості інформації в тих же одиницях.