Единицы измерения информации

Единицы измерения информации служат для измерения объёма информации — величины, исчисляемой логарифмически. Это означает, что когда несколько объектов рассматриваются как один, количество возможных состояний перемножается, а количество информации — складывается. Не важно, идёт речь о случайных величинах в математике, регистрах цифровой памяти в технике или даже квантовых системах в физике.

Чаще всего измерение информации касается объёма компьютерной памяти и объёма данных, передаваемых по цифровым каналам связи.

Впервые объективный подход к измерению информации был предложен американским инженером Р. Хартли в 1928 году, затем в 1948 году обобщен американским учёным К. Шенноном. Хартли рассматривал процесс получения информации как выбор одного сообщения из конечного наперед заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Вероятность - численная мера достоверности случайного события, которая при большом числе испытаний близка к отношению числа случаев, когда событие осуществилось с положительным исходом, к общему числу случаев. Два события называют равновероятными, если их вероятности совпадают.

Примеры равновероятных событий

1.при бросании монеты: «выпала решка», «выпал орел»; 2. на странице книги: «количество букв чётное», «количество букв нечётное»; 3. при бросании игральной кости: «выпала цифра 1»,«выпала цифра 2»,«выпала цифра 3»,«выпала цифра 4»,«выпала цифра 5»,«выпала цифра 6».

Неравновероятные события

Определим, являются ли равновероятными сообщения «первой из дверей здания выйдет женщина» и «первым из дверей здания выйдет мужчина». Однозначно ответить на этот вопрос нельзя. Во-первых, как известно количество мужчин и женщин неодинаково. Во-вторых, все зависит от того, о каком именно здании идет речь. Если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Логарифм числа a по основанию b (log_ba ) равен показателю степени, в которую надо возвести число b, чтобы получить число a. Широкое применение в информатике получили логарифмы по основанию два, которые называют двоичными логарифмами.

Формула Хартли:

I = log₂N

Шеннон предложил другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона:

I=P1log21/P1+P2log21/P2+…+PNlog21/PN,

где pi – вероятность i-го сообщения

Поскольку каждый регистр арифметического устройства и каждая ячейка памяти состоит из однородных элементов, а каждый элемент может находиться в одном из двух устойчивых состояний (которые можно отождествить с нулем и единицей), то К. Шенноном была введена единица измерения информации – бит.

Бит – слишком мелкая единица измерения. На практике чаще применяется более крупная единица – байт, равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2⁸).

Широко используются также еще более крупные производные единицы информации:

1 Килобайт (Кбайт) = 1024 байт,

1 Мегабайт (Мбайт) = 1024 Кбайт,

1 Гигабайт (Гбайт) = 1024 Мбайт.

В последнее время в связи с увеличением объемов обрабатываемой информации входят в употребление такие производные единицы, как:

1 Терабайт (Тбайт) = 1024 Гбайт,

1 Петабайт (Пбайт) = 1024 Тбайт.

За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации.