МОДЕЛЬ ИСКУССТВЕННОГО НЕЙРОНА

Глава 5 НЕЙРОННЫЕ СЕТИ

Изучая нейрофизиологию, можно многое узнать о машинах. Изучая ма­шины, ничего нельзя узнать о нейро­физиологии.

Джон фон Нейман

Особенностью интеллектуальных систем является способ­ность решать слабоструктурированные и плохо формализован­ные задачи. Эта способность основана на применении различных методов моделирования рассуждений для обработки символьной информации. Традиционным подходом к построению механиз­мов рассуждения является использование дедуктивного логичес­кого вывода на правилах (rule-based reasoning), который приме­няется в экспертных системах продукционного и логического ти­па (см. главу 2). При таком подходе необходимо заранее сформу­лировать весь набор закономерностей, описывающих предмет­ную область. Альтернативный подход основан на концепции обу­чения по примерам (case-based reasoning). В этом случае при по­строении интеллектуальной системы не требуется заранее знать обо всех закономерностях исследуемой области, но необходимо располагать достаточным количеством примеров для настройки разрабатываемой адаптивной системы, которая после обучения будет способна получать требуемые результаты с определенной степенью достоверности. В качестве таких адаптивных систем применяются искусственные нейронные сети.

МОДЕЛЬ ИСКУССТВЕННОГО НЕЙРОНА

Искусственная нейронная сеть (ИНС) — это упрощенная мо­дель биологического мозга, точнее нервной ткани [2, 5, 9, 12]. Ес­тественная нервная клетка (нейрон) состоит из тела (сомы), со­держащего ядро, и отростков — дендритов, по которым в нейрон поступают входные сигналы. Один из отростков, ветвящийся на конце, служит для передачи выходных сигналов данного нейрона другим нервным клеткам. Он называется аксоном. Соединение аксона с дендритом другого нейрона называется синапсом. Ней­рон возбуждается и передает сигнал через аксон, если число при­шедших по дендритам возбуждающих сигналов больше, чем чис­ло тормозящих.

Сеть ИНС представляет собой совокупность простых вычис­лительных элементов — искусственных нейронов, каждый из ко­торых обладает определенным количеством входов (дендритов) и единственным выходом (аксоном), разветвления которого под­ходят к синапсам, связывающим его с другими нейронами. На входы нейрона поступает информация извне или от других ней­ронов. Каждый нейрон характеризуется функцией преобразова­ния входных сигналов в выходной (функция возбуждения нейро­на). Нейроны в сети могут иметь одинаковые или разные функ­ции возбуждения. Сигналы, поступающие на вход нейрона, не­равнозначны в том смысле, что информация из одного источни­ка может быть более важной, чем из другого. Приоритеты входов задаются с помощью вектора весовых коэффициентов, модели­рующих синаптическую силу биологических нейронов.

Модель искусственного нейрона (рис. 5.1) представляет со­бой дискретно-непрерывный преобразователь информации. Ин­формация, поступающая на вход нейрона, суммируется с учетом весовых коэффициентов сигналов , где n — размер­ность пространства входных сигналов. Потенциал нейрона опре­деляется по формуле

Взвешенная сумма поступивших сигналов (потенциал) пре­образуется с помощью передаточной функции в выходной сигнал нейрона , который передается другим нейронам сети, т. е. Вид передаточной (активационной) функции явля­ется важнейшей характеристикой нейрона. В общем случае эта функция может быть ступенчатой (пороговой), линейной или не­линейной (рис. 5.2). Пороговая функция пропускает информа­цию только в том случае, если алгебраическая сумма входных сигналов превышает некоторую постоянную величину Р*, на­пример:

Рис. 5.1. Схема кибернетической модели нейрона

Пороговая функция не обеспечивает достаточной гибкости ИНС при обучении. Если значение вычисленного потенциала не достигает заданного порога, то выходной сигнал не формируется и нейрон «не срабатывает». Это приводит к снижению интенсив­ности выходного сигнала нейрона и, как следствие, к формиро­ванию невысокого значения потенциала взвешенных входов в следующем слое нейронов.

Линейная функция дифференцируема и легко вычисля­ется, что в ряде случаев позволяет уменьшить ошибки выходных сигналов в сети, так как передаточная функция сети также явля­ется линейной. Однако она не универсальна и не обеспечивает решения многих задач.

Определенным компромиссом между линейной и ступенча­той функциями является сигмоидальная функция переноса , которая удачно моделирует передаточную харак­теристику биологического нейрона (рис. 5.2, в). Коэффициент k

Рис. 5.2. Функции переноса искусственных нейронов: а — линейная; б — ступенчатая; в — сигмоидальная

определяет крутизну нелинейной функции: чем больше , тем ближе сигмоидальная функция к пороговой; чем меньше , тем она ближе к линейной. Подобно ступенчатой функции она поз­воляет выделять в пространстве признаков множества сложной формы, в том числе невыпуклые и несвязные. При этом сигмои­дальная функция, в отличие от ступенчатой, не имеет разрывов. Она дифференцируема, как и линейная функция, и это качество можно использовать при поиске экстремума в пространстве па­раметров ИНС.

Тип функции переноса выбирается с учетом конкретной зада­чи, решаемой с применением нейронных сетей. Например, в за­дачах аппроксимации и классификации предпочтение отдают ло­гистической (сигмоидальной) кривой. Нейронная сеть представ­ляет cобой совокупность искусственных нейронов, организован­ных слоями. При этом выходы нейронов одного слоя соединяют­ся с входами нейронов другого. В зависимости от топологии со­единений нейронов ИНС подразделяются на одноуровневые и многоуровневые, с обратными связями и без них. Связи между слоями могут иметь различную структуру. В однолинейных сетях каждый нейрон (узел) нижнего слоя связан с одним нейроном верхнего слоя. Если каждый нейрон нижнего слоя соединен с не­сколькими нейронами следующего слоя, то получается пирами­дальная сеть. Воронкообразная схема соединений предполагает связь каждого узла верхнего слоя со всеми узлами нижнего уров­ня. Существуют также древовидные и рекуррентные сети, содер­жащие обратные связи с произвольной структурой межнейрон­ных соединений. Чтобы построить ИНС для решения конкретной задачи, нужно выбрать тип соединения нейронов, опреде­лить вид передаточных функций элементов и подобрать весовые коэффициенты межнейронных связей [1, 2, 5 - 7, 12].

При всем многообразии возможных конфигураций ИНС на практике получили распространение лишь некоторые из них. Классические модели нейронных сетей рассмотрены ниже.