Достоинства, недостатки и модификации Сети хопфилда

Достоинством сети Хопфилда является то, что она имеет огромное историческое значение. С этой модели началось возрождение интереса к нейронным сетям в середине 80-х годов. Также имеющиеся модификации применимы к решению современных задач области применения данной сети.

К сожалению, у нейронной сети Хопфилда есть ряд недостатков:

1. Относительно небольшой объём памяти, величину которого можно оценить выражением:

Попытка записи большего числа образов приводит к тому, что нейронная сеть перестаёт их распознавать.

2. Достижение устойчивого состояния не гарантирует правильный ответ сети. Это происходит из-за того, что сеть может сойтись к так называемым ложным аттракторам, иногда называемым "химерой" (как правило, химеры склеены из фрагментов различных образов).

3. При использовании коррелированных векторов-образцов возможно зацикливание сети в процессе функционирования.

4. Наряду с запомненными образами в сети хранятся и их негативы.

У сети Хопфилда существуют модификации. Одна из них предназначена для решения задач оптимизации, в частности задачи распределения работ между исполнителями.

Существует модель сети Хопфилда с бинарными входными сигналами.

Для увеличения ёмкости сети и повышения качества распознавания образов используют мультипликативные нейроны. Сети, состоящие из таких нейронов, называются сетями высших порядков.

Разработаны к настоящему моменту многослойные сети Хопфилда, которые обладают определёнными преимуществами по сравнению с первоначальной моделью.

1. Применение сетей Кохонена. Пример.

Самоорганизующиеся карты могут использоваться для решения задач моделирования, прогнозирования, кластеризации, поиска закономерностей в больших массивах данных, выявления наборов независимых признаков и сжатии информации.

Наиболее распространенное применение сетей Кохонена - решение задачи классификации без учителя, т.е. кластеризации.

Напомним, что при такой постановке задачи нам дан набор объектов, каждому из которых сопоставлена строка таблицы (вектор значений признаков). Требуется разбить исходное множество на классы, т.е. для каждого объекта найти класс, к которому он принадлежит.

В результате получения новой информации о классах возможна коррекция существующих правил классификации объектов.

Самым распространенным применением карт Кохонена является:

·разведочный анализ данных

·обнаружение новых явлений

В первом случае сеть Кохонена способна распознавать кластеры в данных, а также устанавливать близость классов. Таким образом, пользователь может улучшить свое понимание структуры данных, чтобы затем уточнить нейросетевую модель. Если в данных распознаны классы, то их можно обозначить, после чего сеть сможет решать задачи классификации. Сети Кохонена можно использовать и в тех задачах классификации, где классы уже заданы, - тогда преимущество будет в том, что сеть сможет выявить сходство между различными классами.

Во втором случае сеть Кохонена распознает кластеры в обучающих данных и относит все данные к тем или иным кластерам. Если после этого сеть встретится с набором данных, непохожим ни на один из известных образцов, то она не сможет классифицировать такой набор и тем самым выявит его новизну.

1. Применение сетей Жордана. Пример.

Сеть Жордана (Джордана) – это один из видов рекуррентных сетей, которая получается из многослойного персептрона путем введения обратных связей: на вход помимо входного сектора подается выходной с задержкой на один или несколько тактов. Структура этой сети позволяет запоминать последовательности выполняемых действий над объектами, что является важным при решении задачи оптимизации технологических процессов изготовления деталей.

Структура сет Д. позволяет учесть «предысторию» выполняемого процесса, накопить информацию для выбора необходимого варианта решения поставленной задач многокритериальной оптимизации перспективного технологического процесса согласно выбранным критериям оптимизации ресурсосбережения (материало, -трудо, -фондо и энергосбережения).

Архитектура реккурентной сети Джордана

1. Самоорганизующиеся многослойные нейронные сети. Структура. Принцип работы.

Рассмотрим особый класс нейронных сетей, который называется картами самоорганизации. Эти сети основаны на конкурентом обучении.

Определение:

Самоорганизация – это активное изменение структуры НС или соответствующих ей синоптических весов в результате отклика на обучающие символы. Основой самоорганизации является закономерность, которая состоит в том что глобальное упорядочение глобальной сети возможно в результате самооргранизующих самооперации, которые не зависимо друг от друга проводится в различных локальных сегментах сети. В соответствии с поданными выходными сигналами происходит активация нейронов. Вследствие изменения синоптических весов нейроны адаптируются к поступающим обучающим выборкам. В процессе обучения наблюдается тенденция к росту синоптических весов что приводит к созданию положительной обратной связи: Более мощные возбуждающие стимулы, более высокие значения синоптических весов – большая активность нейронов. В этом случаи происходит естественное расслоение нейронов на различные группы, отдельные нейроны либо их группы сотрудничают между собой, они активируются , в ответ на возбуждение которые создается конкретными обучающими выборками подавляя своей активностью другие нейроны. При этом может быть сотрудничество между нейронами внутри группы так и конкуренция между ними, а так же между различными группами, существует 4 принципа самоорганизации:

1. Изменения синоптических весов ведет к само-усилению НС.

2. Ограниченность ресурсов ведет к конкуренции между синапсами и к успеху более развивающих синапсов за счет других, т.е. наиболее подходящих.

3. Модификация синоптических весов ведет к кооперации. Присутствие сильного синапса может усилить и другие синапсы при общей конкуренции в сети.

4. Порядок и структура образов активации содержит избыточную информацию, которая накапливается сетью в форме знаний являющихся не обходим условием самоорганизующиеся обучения.

Данные принципы СО образуют нейробиологический базис для самоорганизующиеся карт кохонина. В картах самоорганизации нейроны помешаются в одно или двухмерной, карты более высокой размерности используются редко. Однако процесс сегментации т.е. сжатие данных большой размерности некоторого набора кластера позволяет визуализировать данные, которые иным способом понять не возможно.

Отличительные особенности самоорганизующиеся НС на основе конкуренции.

Введенные Кохониным самоорганизующиеся карта признаков(СОК) является НС без обратных связей, которая принципиально отличается от всех типов сетей, сети Кохонена рассчитаны на не управляемое обучение. Они рассчитаны на самостоятельное обучение, во время обучения сообщать им правильные ответы не обязательно. Нейронные сети, обучаемые без учителя служат средством для кластеризации организации и визуального представления больших объемов данных. СОК имеет два слоя:

1. Входной

2. Выходной (составленный обычно из радиальных элементов), так же слой топологической карты.

Нейронная сеть обучаемая без учителя. Число нейронов в выходном слое сколько кластеров нейронная сеть может распознать. СОК в отличии от других нейронных сетей не содержит скрытого слоя. Каждый нейрон соединен со всеми компонентами n-мерного входного вектора. Как и в любой нейронной сети, каждой связи свои синоптический вес, в большинстве каждый выходной нейрон соединяется и со своими соседями, эти внутри слойные связи важны в процессе обучения. Поскольку корректировка весов происходит только в окрестности того нейрона, который наилучшем образов откликается на очередной вход. Когда образ предъявляется на образ нейронной сети, каждый нейрон стремится достигнуть наибольшего соответствия с входным образом. Выходной нейрон ближайших к входному образу признается победителем. Синоптические веса нейрона победителя затем корректируются, т.е. сдвигаются в направлении входного образа, это осуществляется с помощью множителя, который определяется темпом или нормой обучения. В этом и состоит сущность СОНС на основе конкуренции. СОК обладает способностью к обобщению – это означает, что подобные нейронные сети могут узнавать или характеризовать входные данные, с которыми они прежде не имеют данные. Новый вектор входных данных соотносится с тем элементом карты, на которой он отображается. Кроме того, для поиска или прогнозирования знание пропущенных данных при применении раннее обученной карты, они могут использовать даже входные векторами с пропущенными данными.

1. Неокогнитрон. Инвариантное распознавание образов.

Развитием когнитрона является неокогнитрон, представляющий собой многоуровневую иерархическую нейронную сеть организация и принципы функционирования которой наиболее соответствуют модели зрительной коры головного мозга Неокогнитрон достаточно универсален и находит широкое применение не только для обработки визуальных данных, но и в качестве обобщенной системы распознавания образов

Он имеет иерархическую структуру, состоящую из последовательности слоев нейронов (рис 2 15) Входной образ подается на первый слой и передается далее до достижения выходного слоя, в котором он распознается

Входной слой неокогнитрона распознает линии и углы определенной ориентации Каждый нейрон в слое, близком к входному, реагирует на определенные образы в определенном месте с определенной ориентацией Каждый последующий слой имеет более абстрактную, менее специфическую реакцию по сравнению с предыдущим В последующих слоях распознаются все более сложные образы независимо от их положения, размера, ориентации и искажений

Каждый слой неокогнитрона состоит из двух плоскостей, разделенных на двумерные массивы нейронов Первая плоскость, содержащая простые нейроны, получает сигналы с выходов сложных нейронов предыдущего слоя, выделяет определенные образы и затем передает их во вторую плоскость данного слоя, содержащую сложные нейроны, где образы обрабатываются таким образом, чтобы обеспечить их меньшую позиционную зависимость

Внутри отдельного слоя массивы простых и сложных нейронов соответствуют друг другу

Рецептивное поле каждого нейрона от слоя к слою возрастает, количество же нейронов в слое при этом уменьшается Наконец, в каждом массиве выходного слоя имеется только один сложный нейрон, который реагирует на определенный входной образ. В процессе распознавания входной образ подается на вход неокогнитрона, а вычисления осуществляются слой за слоем Так как только небольшая часть входного образа подается на вход каждого простого нейрона входного слоя, некоторые простые нейроны реагируют на наличие характеристик, которым они обучены, и возбуждаются В следующих слоях выделяются более сложные характеристики как определенные комбинации выходов сложных нейронов, и уменьшается позиционная зависимость.

Рис. 2.15 Структура неокогнитрона

Если используется латеральное торможение, то возбуждается только один нейрон выходного слоя с максимальным значением выхода Однако это часто является не лучшим вариантом

Обычно используется подход, при котором будут активизироваться несколько нейронов с различной степенью возбуждения, и входной образ должен быть определен с учетом соотношения их выходов Это позволяет улучшить точность распознавания

Простые нейроны. Отдельный массив плоскости простых нейронов настраивается на один специфический входной образ Каждый простой нейрон массива реагирует на ограниченную область входного образа, называемую его рецептивной областью Нейрон реагирует, если часть образа, на которую он настроен, встречается во входном образе и обнаружена в его рецептивной области. Другие массивы простых нейронов первой плоскости в этом слое могут быть настроены, например, на повороты образов Причем для выделения каждого дополнительного образа (или его версии) требуется дополнительная плоскость.

Рецептивные области простых нейронов в каждом массиве первой плоскости перекрываются для покрытия всего входного поля этого слоя. Каждый такой нейрон получает сигналы от соответствующих рецептивных областей всех массивов второй плоскости из предыдущего слоя. Следовательно, простой нейрон реагирует на появление своего образа в любой сложной плоскости предыдущего слоя, если он окажется внутри его рецептивной области

Простые нейроны неокогнитрона имеют такие же свойства, что и в когнитроне, и для определения их выхода используются те же формулы.

Простые нейроны в отличие от сложных имеют настраиваемые веса связей, соединяющих простой нейрон со сложными нейронами в предыдущем слое, настраиваемые таким образом, чтобы выработать максимальную реакцию на определенные образы. Помимо возбуждающих синапсов, к простому нейрону подключены тормозящие, стремящиеся уменьшить значение на его выходе.

Сложные нейроны. Сложные нейроны решают задачу уменьшения позиционной зависимости реакции неокогнитрона на образы. Для этого на входы каждого сложного нейрона подаются выходные сигналы с набора простых нейронов из соответствующего множества первой плоскости того же слоя.

Активизация любого простого нейрона из рецептивной области сложного нейрона является достаточным условием для возбуждения данного сложного нейрона. Таким образом, сложный нейрон реагирует на тот же образ, что и простые нейроны в соответствующем ему массиве, но он менее чувствителен к позиции образа, чем любой из них.

Каждый слой сложных нейронов реагирует на все большую область входного образа, по сравнению с предшествующими слоями, что приводит к требуемому уменьшению позиционной зависимости реакции неокогнитрона на образы в целом.

Помимо активизирующих, в плоскости сложных нейронов присутствуют тормозящие нейроны, которые вырабатывают

выходные сигналы, пропорциональные квадратному корню из взвешенной суммы квадратов их входных сигналов. При этом на входы тормозящего нейрона подаются сигналы с выходов сложных нейронов из соответствующей рецептивной области для заданного простого нейрона следующего слоя.

В символьном виде:

где - выход тормозящего нейрона; - индекс сложного нейрона, с которым связан тормозящий нейрон; - вес синаптической связи от сложного нейрона к простому тормозящему нейрону; - выход сложного нейрона. Веса монотонно уменьшаются с увеличением расстояния от центра области реакции, при этом Однако в процессе обучения эти веса не изменяются. Изменяется только вес тормозящего входа простого нейрона, к которому подключен выход тормозящего нейрона из предыдущего слоя.

На рис. 2.16 показана организация взаимосвязей между простым нейроном и сложными нейронами из одного из массивов предыдущего слоя.

Обучение. Как и для когнитрона, процесс обучения неокогнитрона представляет собой обучение без учителя, в результате которого сеть самоорганизуется. При этом на вход неокогнитрона подается образ, который необходимо распознать, и веса синапсов настраиваются слой за слоем. Значение веса от каждого сложного нейрона к заданному простому увеличивается, когда удовлетворяются следующие два условия:

• активизируется сложный нейрон;

• реакция одного из простых нейронов больше, чем у его соседей из любой из области конкуренции.

Это приводит к тому, что простой нейрон обучается реагировать более сильно на образы, появляющиеся наиболее часто в его рецептивной области. Если распознаваемый образ отсутствует на входе, тормозящий нейрон предохраняет от случайной активизации соответствующий простой нейрон.

Процедура обучения и подход при реализации латерального торможения когнитрона и неокогнитрона аналогичны. При этом выходы простых и сложных нейронов являются непрерывными, неотрицательными и изменяются по линейному закону.

При срабатывании на входной образ простого нейрона его веса должны быть увеличены. Также увеличиваются веса всех

Рис. 2.16 Взаимосвязь простого нейрона со сложными нейронами из предыдущего слоя

простых нейронов из данного массива для этого самого образа. Таким образом, все нейроны в массиве обучаются распознавать одни и те же свойства образа, и после обучения будут делать это независимо от позиции образа в поле сложных нейронов из предшествующего слоя

Это определяет способность неокогнитрона к самовосстановлению. Так, если активизируемый нейрон выйдет из строя, среди других выбирается другой, реагирующий наиболее сильно, который и будет обучен распознаванию входного образа, заменяя отказавший нейрон.

При обучении с учителем требуемые значения выходов нейронов каждого слоя определяется заранее. Их веса настраиваются с использованием обычных процедур. Например, входной слой настраивался для распознавания отрезков линий в различных ориентациях. Последующие слои обучаются реагировать на более сложные свойства до тех пор, пока в выходном слое требуемый образ не будет выделен.