Количество информации, содержащееся в двоичном слове, равно числу двоичных знаков в этом слове.

Энтропия H(X) характеризует степень неопределённости системы. Степень неопределённости зависит как от числа возможных состояний системы, так и от вероятности этих состояний, но не от самих состояний.

Чем больше объём полученных о системе сведений, тем больше будет информации о системе, тем менее неопределённым будет её состояние для получателя информации.

Количество информации, приобретаемое при полном выяснении состояния физической системы, равно энтропии этой системы.

Нельзя путать Больцмановскую энтропию (термодинамическую) с информационной энтропией.

Что такое один бит?

За единицу измерения энтропии (количества информации) принимают энтропию простейшей системы : X которая может находиться в двух равновероятных состояниях: X=x1 с вероятностью p1=1/2, и X=x2 с вероятностью p2=1/2.

Тогда H(X) = 1 бит. (binary digit = bit = бит).

Можно другим способом определить единицу измерения 1 бит.

1. Если задаётся вопрос, ответ на который равновероятно может быть ДА или НЕТ, то такой ответ содержит 1 единицу информации = 1 бит;

или:

Ответ на вопрос, допускающий лишь два равновероятных ответа ДА или НЕТ, служит единицей измерения информации и содержит 1 бит информации.

Или

3. 1 бит - количество информации, которое уменьшает неопределённость нашего знания о системе в два раза.Неопределённость состояний дискретной системы зависит от числа состояний N. Энтропия H1 = Log₂ N. Если неопределённость уменьшилась в два раза, то это значит, что число состояний стало = N/2, а энтропия H2 = Log₂ N/2. Количество полученной информации I= N1-N2 = Log₂ N

Примеры:

· Задача. Какое минимальное число вопросов надо задать, чтобы гарантированно угадать одно задуманное число из 32. Решение: по формуле Хартли можно вычислить количество информации, которое необходимо получить для определения выделенного элемента x из множества целых чисел {1,2,3 ……, 32}. Для этого необходимо Н= Log₂ 32 = 5 бит информации. Вопросы надо задавать так, чтобы ответы на них были равновероятны. Тогда ответ на каждый такой вопрос будет приносить 1 бит информации. Например, можно разбить числа на две равные группы от 1 до 16 и от 17 до 32 и спросить, в какой группе находится задуманное число. Далее, аналогично поступить с выделенной группой, которая содержит уже лишь 16 чисел, и т.д.

· Задача на взвешивание. При помощи взвешиваний на рычажных весах определить одну фальшивую монету из 27: есть 26 настоящих и 1 фальшивая (он легче настоящих).

Решение: Энтропия системы H = log ₂ 27 = 3log ₂ 3. Одно взвешивание на весах имеет три равновероятных исхода : левая чашка внизу, правая чашка внизу, чашки в равновесии. Есть три равновероятных исхода. Значит одно взвешивание даёт log₂ 3 единиц информации. Так как общая энтропия системы H = 3log ₂ 3, то всего нужно провести 3 взвешивания. Взвешивания надо проводить так, чтобы их исход был равновероятен. Для этого разбиваем все монеты на три равные по числу монет кучки: A,B и C. Взвесив любые две из них определим кучку, в которой находится фальшивая монета.

Д.С. Чернавский так определяет информацию:

Информация - есть запомненный выбор одного варианта из нескольких возможных и равноправных.

Запоминание означает, что сделанный выбор сохраняется в течение времени, которое больше, чем характерное время использования информации.

Поэтому нельзя путать Больцмановскую энтропию с информационной энтропией. Спонтанный переход большого числа частиц из одного состояния в другое совершается в течение малого отрезка времени t = 10^-13 сек. Это означает, что система сразу же забывает данные о предыдущем состоянии и не может использовать их.

Различают рецепцию и генерацию информации.

Рецепция информации - выбор, навязанный системе извне (неслучайный выбор). Происходит перевод системы из одного состояния в другое независимо от того, в каком состоянии она находилась ранее. Обычно встречается в технике. Различают силовое и параметрическое переключение систем.

Генерация информации - случайный выбор.

Новые выборы можно сделать только на основе уже сделанных ранее.

Тезаурус - информация, содержащаяся в системе на данном уровне, необходимая для рецепции или генерации информации на следующем уровне. Без тезауруса нет множества, из которого нужно сделать выбор.

Для того, чтобы система была способна генерировать информацию она должна обладать следующими свойствами:

1) мультистабильность;

2) запомненное состояние должно быть абсолютно устойчивым (диссипативность);

3) система должна содержать перемешивающий слой.

1. Если выбор не запоминается, то это микроинформация. Если выбор запоминается, то это макроинформация. Пример микроиноформации - скорости и координаты молекул идеального газа в данный момент: время запоминания t_micro = ~ 10^-13 сек Во всех информационных процессах используется макроинформация

2. Различают условную и безусловную (объективная) информацию : условная - информация нужная для общения в данной социальной среде. Это алфавит, словарь, грамматика… Научная терминология. Условность в том, что язык может быть изменён. Объективная информация - научное открытие, научные законы: «Одноименные заряды отталкиваются». Но когда записываем закон - закон Кулона - возникает условная информация (используются условные обозначения).

3. Кодовая и смысловая информация. Для составления предложения, имеющего смысл, необходимо использовать алфавит, словарь, грамматику.

4. Новая информация - выбор из многих вариантов, который ранее не был сделан.

Ценность информациизависит от цели, с которой эта информация используется.

P₀ - вероятность достижения цели без получения информации.

P₁ - вероятность достижения цели после получения информации.

V =Log₂(P₁/ P₀) - ценность информации

1) P₁ > P₀ положительная ценность

2) P₁ = P₀ нулевая ценность

3)P₁ < P₀ отрицательная ценность (дезинформация)