Студопедия

КАТЕГОРИИ:

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника



Количественная оценка информации. Формула Хартли, формула Шеннона.

Читайте также:
  1. Iгруппа – Критерии основанные на дисконтированных оценках, т.е учитывают фактор времени:NPV,PI, IRR,DPP.
  2. Re – Рейнольдс саны) формуласында l нені білдіреді
  3. VI Оценка прочности заряда РДТТ.
  4. А) оценка кредитоспособности заёмщика
  5. А3-А5. ОЦЕНКА И АНАЛИЗ ЛИКВИДНОСТИ ФИРМЫ (Анализ обеспеченности собственным оборотным капиталом; Анализ дебиторской и кредиторской задолженности)
  6. А9. ОЦЕНКА И АНАЛИЗ ЭФФЕКТИВНОСТИ ФИРМЫ. ФОРМУЛА ДЮПОНА
  7. Аксиомы аналитико-иерархического процесса. Общая оценка АИП как метода принятия решения.
  8. Алгоритмы разгона и торможения. Сравнительная оценка алгоритмов. Примеры.
  9. Анализ выручки в розничной торговле: цели, источники информации, расчет и оценка влияния факторов.
  10. Анализ дебиторской и кредиторской задолженности: цели, источники информации, оценка структуры и динамики. Оптимизация расчетов.

Основная задача Т.И. – создание систем связи, обеспечивающих заданную точность при минимальных значениях следующих параметров систем: мощность, полоса частот, время передачи и т.п. Отсюда вытекают 2 технические проблемы: 1.изыскание способов передачи больших объемов инф-и при малых ресурсных, временных, материальных затратах. 2. повышение достоверности принятой инф-и. При повышении достоверности принятой инф-и скорость передачи инф-и уменьшается, а стоимость технич. средств увеличивается. Т.о., возникает необходимость количественного определения инф-и, которая может передаваться по каналам связи с заданной достоверностью. [Количество инф-и, которое несет в себе сообщение, возрастает при увеличении кол-а неопределенности относительно того, какое сообщение из всех возможных будет выбрано. 1 из 10 возможных сообщений несет в себе меньшее кол-во инф-и, чем 1 из 1000000.]

В виде единицы информации принято использовать бит.

Мера информации – то, что может измерить информацию.

Бит – кол-во инф-ии, кот. необходимо, чтобы сообщить, что было выбрано одно из двух равновероятных событий. (Двоичный код – 1 или 0). Если кол-во бит =1, то I=1*log 2=1 бит.

Пример равновероятных событий – подбрасывание монетки.

Алфавит из 2х элементов: m=2 (кол-во символов алфавита).

Передается один элемент: n=1 (кол-во элементов сообщения).

Число различных сообщений: N; N=m^n

Заслуга Хартли в том, что он впервые предложил логарифмическую меру количества информации.

I=log (N)=log (mn)

Log зависит от того, в чем мы будем измерять информацию (в битах – двоичный log).

Если символы неравновероятны, то мы не можем использовать эти формулы. Шеннон предложил формулу с учетом вероятностей характеристик. Формула Шеннона для неравновероятных символов:

(- , так как вероятность (0,1)) где pi- вероятность выбора символа s. Она учитывает вероятность появления каждого символа. След-но, pi будет меньше нуля, а кол-во инф-ии не может быть отрицательным)

В случае равновероятных символов она переходит в формулу Хартли

 

Доп.вопрос:

Может ли инф-ия быть меньше 1 бита?

Теоретически инф-ия м.б. < 1 бит (0-вер-ть одного события, 1 – вер-ть другого). Инф-я = 1бит для равновероятностных ответов, в ост. случаях она меньше 1 бита.



Как это связано с основной задачей теории информации? Для чего это надо?

Нужно измерять задачу количественно. Измерение кол-ва инф-ии – частная задача. Решение частных задач приводит к решению общих задач.

 

 


Дата добавления: 2015-04-18; просмотров: 12; Нарушение авторских прав


<== предыдущая лекция | следующая лекция ==>
Основная задача теории информации. Теорема отсчетов. | Понятие автоматического и автоматизированного управления. Классификация систем автоматизированного управления.
lektsii.com - Лекции.Ком - 2014-2018 год. (0.008 сек.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав
Главная страница Случайная страница Контакты