Архитектура нейроних мереж

Реальная нейрона сеть может содержать одно или большее количество слоев и соответственно характеризоваться как однослойная или как многослойная.

На рис.1.6. приведена схема сети, в которой соответствующие символы характеризуют (обозначают) функцию активации, использованную в нейронах соответствующего слоя. Вход сети изображен в виде темной вертикальной черточки, под которой указывается количество элементов входа. Цифры возле обозначений слоев характеризуют количество нейронов в слое.

Рисунок 1.6. – Чотиришарова сеть с 7 входными сигналами. Первый слой имеет 7 нейронов с функцией активации hardlim, второй – 20 нейронов (purelin), третий – нейронов (logsig), четвертый - нейронов (tansig)

В слое сети каждый элемент вектора входа слоя соединенный с всеми нейронами

На сегодня разработано значительное количество типов нейроних мереж которые различаются между собою направлением передачи сигнала. Рассмотрим основные типы.

Сеть с прямой передачей сигнала. - не имеет обратных связей.Сети с такой архитектурой могут воссоздавать очень сложные нелинейные зависимости между входом и выходом сети. Эта сеть может быть использована для аппроксимации функций. Она может довольно точно воссоздать любую функцию с конечным числом точек разрыва

Статические сети. Статическая нейрона сеть характеризуется тем, что в ее составе нет элементов запаздывания и обратных связей.

Рисунок 1.7. – Пример сети с сетью с прямой передачей сигнала

Радиальные базисные нейроне сети состоят из большего количества нейронов, чем стандартные сети с прямой передачей сигналов и обучением методом обратного распространения ошибки, но на их создание требуется значительно меньше времени. Эти сети в особенности эффективные, если доступное большое количество учебных векторов [3].

Показанна радиальная базисная сеть с R входами и график функции ее активации. Функция активации для радиального базисного нейрона имеет вид:

radbas(n)=exp(-n2).

Вход функции активации определяется как модуль разности вектора весов w и вектора входар, умноженный на сдвиг b.

а. б.

Рисунок 1.8. Радиальная базисная сеть с R входами (а) и график функции активации (б)

Эта функция имеет максимум, равный 1, если вход равняется 0.

Сети кластеризації и классификации данных. В процессе анализа больших информационных массивов данных неизменно возникают задачи, связанные с объединением этих данных в группы (кластеры).

Самоорганизация сетей, описанных финским ученым Т. Кохоненом [9]. Базируются на конкурирующем слое – слое который формирует 1 на выходе нейрона, имеющего на выходе максимальный сигна и 0 на всех остальных.

Рисунок 1.11. - Архитектура LVQ-сети

Модификация сетей Коххонена - Сети для классификации входных векторов, или LVQ (Learning Vector Quantization) – сети.

LVQ-сеть имеет 2 слоя: конкурирующий и линейный. Конкурирующий слой выполняет кластеризацию векторов, а линейный слой соотносит кластеры с целевыми классами, заданными пользователем.

Рисунок 1.12. – Пример линейной сети, которая содержит 1 элемент линии задержки

Динамические сети. Если сеть содержит линии задержки, вход сети надо рассматривать как последовательность векторов, которые подаются на сеть в определенные моменты времени. Чтобы объяснить этот случай, рассмотрим простую линейную сеть, которая содержит 1 элемент линии задержки (рис.1.12). – на сеть одновременно подается текущее значение сигнала и предыдущее значение

Рекурентні сети. Наибольшее распространение приобрели 2 типы рекурентних нейроних мереж – это класс сетей Элмана (Elman) и класс сетей Хопфілда (Hopfield). Характерной особенностью архитектуры рекурентної сети есть наличие блоков динамической задержки и обратных связей. Это разрешает таким сетям обрабатывать динамические модели. Выходной сигнал также используется с задержкой как входной

Рисунок 1.12. - Архитектура Сети Элмана