Примеры нейронных сетей

Перцептро́н, или персептрон^{[nb 1]} (англ. perceptron от лат. perceptio — восприятие; нем. perzeptron) — математическая икомпьютерная модель восприятия информации мозгом (кибернетическая модель мозга), предложенная Фрэнком Розенблаттом в 1957 году и реализованная в виде электронной машины «Марк-1»^{[nb 2]} в 1960 году. Перцептрон стал одной из первых моделей нейросетей, а «Марк-1» — первым в мире нейрокомпьютером. Несмотря на свою простоту, перцептрон способен обучаться и решать довольно сложные задачи. Основная математическая задача, с которой он справляется, — это линейное разделение любых нелинейных множеств, так называемое обеспечение линейной сепарабельности.

Перцептрон состоит из трёх типов элементов, а именно: поступающие от сенсоров сигналы передаются ассоциативнымэлементам, а затем реагирующим элементам. Таким образом, перцептроны позволяют создать набор «ассоциаций» между входными стимулами и необходимой реакцией на выходе. В биологическом плане это соответствует преобразованию, например, зрительной информации в физиологический ответ от двигательных нейронов. Согласно современной терминологии, перцептроны могут быть классифицированы как искусственные нейронные сети:

1. с одним скрытым слоем;^{[nb 3]}

2. с пороговой передаточной функцией;

3. с прямым распространением сигнала.

• Простым S-элементом (сенсорным) является чувствительный элемент, который от воздействия какого-либо из видов энергии (например, света, звука, давления, тепла и т. п.) вырабатывает сигнал. Если входной сигнал превышает некоторый порог θ, на выходе элемента получаем +1, в противном случае — 0.^[13]
• Простым A-элементом (ассоциативным) называется логический решающий элемент, который даёт выходной сигнал +1, когда алгебраическая сумма его входных сигналов превышает некоторую пороговую величину θ (говорят, что элемент активный), в противном случае выход равен нулю.^[13]
• Простым R-элементом (реагирующим, то есть действующим) называется элемент, который выдаёт сигнал +1, если сумма его входных сигналов является строго положительной, и сигнал −1, если сумма его входных сигналов является строго отрицательной. Если сумма входных сигналов равна нулю, выход считается либо равным нулю, либо неопределённым.^[13]

Если на выходе любого элемента мы получаем 1, то говорят, что элемент активен или возбуждён.

Все рассмотренные элементы называются простыми, так как они реализуют скачкообразные функции. Розенблатт утверждал также, что для решения более сложных задач могут потребоваться другие виды функций, например, линейная.^[14]

В результате Розенблатт ввёл следующие определения:

• Перцептрон представляет собой сеть, состоящую из S-, A-, R-элементов, с переменной матрицей взаимодействия W (элементы которой — весовые коэффициенты), определяемой последовательностью прошлых состояний активности сети.^[14][15]
• Перцептроном с последовательными связями называется система, в которой все связи, начинающиеся от элементов с логическим расстоянием d от ближайшего S-элемента, оканчиваются на элементах с логическим расстоянием d+1 от ближайшего S-элемента.^[15]
• Простым перцептроном называется любая система, удовлетворяющая следующим пяти условиям:
1. в системе имеется только один R-элемент (естественно, он связан всеми A-элементами);
2. система представляет собой перцептрон с последовательными связями, идущими только от S-элементов к A-элементам и от A-элементов к R-элементам;
3. веса всех связей от S-элементов к A-элементам (S—A связей) неизменны;
4. время передачи каждой связи равно либо нулю, либо фиксированной постоянной ;
5. все активирующие функции S-, A-, R-элементов имеют вид , где — алгебраическая сумма всех сигналов, поступающих одновременно на вход элемента ^[14][16]
• Элементарным перцептроном называется простой перцептрон, у которого все элементы — простые. В этом случае его активизирующая функция имеет вид .^[17]

Дополнительно можно указать на следующие концепции, предложенные в книге, и позднее развитые в рамках теории нейронных сетей:

• Перцептрон с перекрёстными связями - это система, в которой существуют связи между элементами одного типа (S, A или R), находящиеся на одинаковом логическом расстоянии от S-элементов, причем все остальные связи — последовательного типа.^[15]
• Перцептрон с обратной связью - это система, в которой существует хотя бы одна связь от логически более удалённого элемента к менее удалённому.^[15] Согласно современной терминологии такие сети называются рекуррентными.
• Перцептрон с переменными S-A связями - это система, в которой снято ограничение на фиксированные связи от S-элементов к A-элементам. Доказано, что путём оптимизации S—A связей можно добиться значительного улучшения характеристик перцептрона.^[18]

Учёные выделили 5 семейств перцептронов, обладающих, по их мнению, интересными свойствами:^[20]

1. Перцептроны, ограниченные по диаметру — каждая фигура X, распознаваемая частными предикатами, не превосходит по диаметру некоторую фиксированную величину.
2. Перцептроны ограниченного порядка — каждый частный предикат зависит от ограниченного количества точек из X.
3. Перцептроны Гамбы — каждый частный предикат должен быть линейной пороговой функцией, то есть мини-перцептроном.
4. Случайные перцептроны — перцептроны ограниченного порядка, где частные предикаты представляют собой случайно выбранные булевы функции. В книге отмечается, что именно эта модель наиболее подробно изучалась группой Розенблатта.
5. Ограниченные перцептроны — множество частных предикатов бесконечно, а множество возможных значений коэффициентов конечно.

Хотя такой математический аппарат позволил применить анализ только к элементарному перцептрону Розенблатта, он вскрыл много принципиальных ограничений для параллельных вычислений, от которых не свободен ни один вид современных искусственных нейронных сетей.

Многослойный перцептрон Розенблатта - перцептрон с дополнительными слоями А - элементов, расположенными между S и R элементами. Определение Розенблатта отличается от многослойного перцептрона Румельхарта, и является более общим случаем по отношению к нему. Так как элементарный перцептрон уже обладал двумя слоями связей и тремя слоями элементов (нейронов), то такой перцептрон не считался многослойным, и многослойность подразумевалась только при наличии минимум четырех слоев элементов. Другое важное отличие состояло в том, что у Розенблатта не обязательно все связи были обучаемые, часть из них могла быть случайно выбрана и фиксирована. Румельхард же предполагал, что все связи многослойного перцептрона обучаемы. Поэтому полным эквивалентом многослойного перцептрона Румельхарта, у Розенблатта является перцептрон с переменными S-A связями.

Сеть Джордана - этот вид сетей получается из многослойного перцептрона, если на его вход подать помимо входного вектора выходной с задержкой на один или несколько тактов.

В первых рекуррентных сетях главной идеей было дать сети видеть свой выходной образ на предыдущем шаге. У такой сети только часть рецепторов принимает сигналы из окружающего мира, на другие рецепторы приходит выходной образ из предыдущего момента времени. Рассмотрим прохождение последовательности сигналов через сеть. Сигнал поступает на группу рецепторов соединенных с внешним миром (INPUT) и проходит в скрытый слой (HIDDEN). Преобразованный скрытым слоем сигнал пойдет на выходной слой (OUTPUT) и выйдет из сети, а его копия попадет на задержку. Далее в сеть, на рецепторы, воспринимающие внешние сигналы, поступает второй образ, а на контекстную группу рецепторов (CONTEXT) – выходной образ с предыдущего шага из задержки. Далее со всех рецепторов сигнал пойдет в скрытый слой, затем на выходной.

Нейронная сеть Элмана — один из видов рекуррентной сети, которая так же как и сеть Джордана получается из многослойного перцептрона введением обратных связей, только связи идут не от выхода сети, а от выходов внутренних нейронов. Это позволяет учесть предысторию наблюдаемых процессов и накопить информацию для выработки правильной стратегии управления. Эти сети могут применяться в системах управления движущимися объектами, так как их главной особенностью является запоминание последовательностей.

Нейронная сеть Ворда — Искусственная нейронная сеть, топология которой характеризуется тем, что внутренние (скрытые) слои нейронов разбиты на блоки.

Разбиение скрытых слоев на блоки позволяет использовать различные передаточные функции для различных блоков скрытого слоя. Таким образом, одни и те же сигналы, полученные от входного слоя, взвешиваются и обрабатываются параллельно с использованием нескольких способов, а полученный результат затем обрабатывается нейронами выходного слоя. Применение различных методов обработки для одного и того же набора данных позволяет сказать, что нейронная сеть анализирует данные с различных аспектов. Практика показывает, что сеть показывает очень хорошие результаты при решении задач прогнозирования и распознавания образов. Для нейронов входного слоя, как правило, устанавливается линейная функция активации. Функция активации для нейронов из блоков скрытого и выходного слоя определяется экспериментально.

Алгоритм обучения

Для обучения Нейронной сети Ворда можно применять метод обратного распространения ошибки.

Нейро́нная сеть Хо́пфилда — полносвязная нейронная сеть с симметричной матрицей связей. В процессе работы динамика таких сетей сходится (конвергирует) к одному из положений равновесия. Эти положения равновесия являются локальными минимумами функционала, называемого энергией сети (в простейшем случае — локальными минимумами отрицательно определённой квадратичной формы на n-мерном кубе). Такая сеть может быть использована как автоассоциативная память, как фильтр, а также для решения некоторых задач оптимизации. В отличие от многих нейронных сетей, работающих до получения ответа через определённое количество тактов, сети Хопфилда работают до достижения равновесия, когда следующее состояние сети в точности равно предыдущему: начальное состояние является входным образом, а при равновесии получают выходной образ.

Нейронная сеть Хопфилда состоит из искусственных нейронов. Каждый нейрон системы может принимать одно из двух состояний (что аналогично выходу нейрона с пороговой функцией активации):

Из-за их биполярной природы нейроны сети Хопфилда иногда называют спинами.

Взаимодействие спинов сети описывается выражением:

где — элемент матрицы взаимодействий , которая состоит из весовых коэффициентов связей между нейронами. В эту матрицу в процессе обучения записывается М «образов» — N-мерных бинарных векторов:

В сети Хопфилда матрица связей является симметричной ( ), а диагональные элементы матрицы полагаются равными нулю ( ), что исключает эффект воздействия нейрона на самого себя и является необходимым для сети Хопфилда, но не достаточным условием, устойчивости в процессе работы сети. Достаточным является асинхронный режим работы сети. Подобные свойства определяют тесную связь с реальными физическими веществами, называемыми спиновыми стёклами.

Нейронные сети Кохонена — класс нейронных сетей, основным элементом которых является слой Кохонена. Слой Кохонена состоит из адаптивных линейных сумматоров(«линейных формальных нейронов»). Как правило, выходные сигналы слоя Кохонена обрабатываются по правилу «победитель забирает всё»: наибольший сигнал превращается в единичный, остальные обращаются в нуль.

По способам настройки входных весов сумматоров и по решаемым задачам различают много разновидностей сетей Кохонена.^[1] Наиболее известные из них:

§ Сети векторного квантования сигналов^[2], тесно связанные с простейшим базовым алгоритмом кластерного анализа (метод динамических ядер или K-средних)

§ Самоорганизующиеся карты Кохонена (Self-Organising Maps, SOM)^[3]

§ Сети векторного квантования, обучаемые с учителем (Learning Vector Quantization)^[4]

Слой Кохонена состоит из некоторого количества параллельно действующих линейных элементов. Все они имеют одинаковое число входов и получают на свои входы один и тот же вектор входных сигналов . На выходе го линейного элемента получаем сигнал

где — весовой коэффициент го входа го нейрона, — пороговый коэффициент.

После прохождения слоя линейных элементов сигналы посылаются на обработку по правилу «победитель забирает всё»: среди выходных сигналов ищется максимальный; его номер . Окончательно, на выходе сигнал с номером равен единице, остальные — нулю. Если максимум одновременно достигается для нескольких , то либо принимают все соответствующие сигналы равными единице, либо только первый в списке (по соглашению). «Нейроны Кохонена можно воспринимать как набор электрических лампочек, так что для любого входного вектора загорается одна из них.»^[5]

Когнитро́н — искусственная нейронная сеть на основе принципа самоорганизации. Своей архитектурой когнитрон похож на строение зрительной коры, имеет иерархическую многослойную организацию, в которой нейроны между слоями связаны только локально. Обучается конкурентным обучением (без учителя). Каждый слой мозга реализует различные уровни обобщения; входной слой чувствителен к простым образам, таким, как линии, и их ориентации в определенных областях визуальной области, в то время как реакция других слоев является более сложной, абстрактной и независимой от позиции образа. Аналогичные функции реализованы в когнитроне путем моделирования организации зрительной коры.

Неокогнитрон является дальнейшим развитием идеи когнитрона и более точно отражает строение зрительной системы, позволяет распознавать образы независимо от их преобразований, вращений, искажений и изменений масштаба. Неокогнитрон может как самообучаться, так и обучаться с учителем. Неокогнитрон получает на входе двумерные образы, аналогичные изображениям на сетчатке глаза, и обрабатывает их в последующих слоях аналогично тому, как это было обнаружено в зрительной коре человека. Конечно, в неокогнитроне нет ничего, ограничивающего его использование только для обработки визуальных данных, он достаточно универсален и может найти широкое применение как обобщенная система распознавания образов.