Построение модели

В данном примере необходимо построить модель распознавания цифр, выдаваемых реальным калькулятором.

Разумно сформулировать следующие требования к нейронной сети: 1) сеть должна обладать возможностью экстраполировать за область обучающих дан­ных (т.е. давать правильный прогноз при комбинациях предикторов, которые сильно отличаются от обучающего множества); 2) требовать небольшого вре­мени для прогноза (это диктуется требованиями практического применения).

Указанным условиям соответствует архитектура многослойного персептрона. Число элементов на скрытом слое выберем равным 5 (классификация проводится в 10 классов). Обычно, в первом приближении при построении модели на скрытом слое выбирается число элементов, равное полусумме чис­ла входных и выходных элементов, но в данной задаче выбор еще обусловлен количеством классов.

Шаг 1. Из меню Анализ —> Нейронные сети запускаем модуль Нейрон­ные сети.

Выбираем задачу: Классификация.

Заходим в диалог выбора Переменных: DIGIT- зависимая кате­гориальная переменная. VAR1-VAR7- независимые категориаль­ные предикторы (рис. 3). Нажимаем ОК.

Рис. 3. Диалог выбора переменных

Шаг 2. На стартовом окне в качестве инструмента построения сети вы­бираем Конструктор сетей. Нажимаем ОК.

Рис. 4. Диалог выбора типа сети

Шаг 3. В следующем окне можно выбрать тип сети (рис.4). Указы­ваем Многослойный персептрон.

Рис. 5. Диалог задания параметров сети

Далее необходимо задать число элементов на скрытом слое, для че­го переходим на вкладку Элементы сети (рис. 5). На вкладке Элементы задаем число элементов на скрытом слое равным 5. Итак, архитектура сети определена. Нажимаем кнопку ОК и пе­реходим к диалогу Обучение многослойного персептрона.

Шаг 4. Обучим сеть с помощью алгоритма обратного распространения ошибки (Количество эпох - 500, Скорость обучения = 0,01).

Этот алгоритм можно использовать с большинством сетей пакета STATISTICA Neural Networks, однако, в наибольшей степени он приспособлен для обучения многослойных персептронов. По сравнению с другими алгоритмами он требует меньше памяти и обычно довольно быстро достигает приемлемого уровня ошибки, хотя к точному минимуму ошибки может сходиться довольно медленно. Под числом эпох понимается максимальное число итераций в процессе обучения. Обычно количество эпох меняется в пределах •т 100 до 1000. Управляющий параметр «скорость обучения» управляет величиной шага при последовательной корректировке весов. Установка по умолчанию для данного параметра в большинстве задач приводит к устойчивому •бучению и не требует корректировки (рис.6).

Отметим, что довольно часто приходится повторять процедуру обучения, пока не будет достигнут глобальный минимум ошибки.

Нажимаем ОК, запуская процедуру обучения.

Шаг 5. Теперь необходимо проанализировать результаты.

Производительность классификатора на контрольном и тестовом множествах равняется приблизительно 71-72. В окне результа­тов просмотрим описательные статистики (рис. 7). Нажимаем кнопку Описательные статистики в левом нижнем углу.

Рис. 6. Диалог выбора алгоритма обучения

Рис. 7. Окно результатов

Рис. 8. Фрагмент окна таблицы описательных статистик

Таблица описательных статистик содержит подробную информа­цию о количестве правильно и неправильно классифицированных наблюдений по каждому классу (рис.8).

Посмотрим на таблицу. Видно, что больше всего ошибок допу­щено при распознавании цифры 9 (см. левый столбец).

Далее запустим анализ чувствительности к предикторам. Нажима­ем вкладку Чувствительность в окне Результаты. Анализ чув­ствительности позволяет сделать вывод об относительной важно­сти входных переменных для конкретной нейронной сети и при необходимости удалить входы с низкими показателями чувстви­тельности. Результаты анализа показаны в таблице (рис. 9).

Рис. 9. Таблица результата анализа чувствительности

Ранг 1 соответствует наибольшей чувствительности к данному предиктору. Переменные VAR1 и VAR2 (верхняя горизонталь­ная, верхняя левая вертикальная) вносят наибольший вклад в определение цифр.

Результаты модели на обучающем, контрольном и тестовом мно­жествах можно получить с помощью кнопки Предсказанные. Таблица предсказанных значений для первых десяти наблюдений приведена на рис.10.

Архитектуру построенной сети удобно представить в графиче­ском виде.

STATISTICA позволяет отображать с помощью цвета уровни ак­тивации нейронов на входных, выходных и скрытых слоях. Для построения графа необходимо перейти на вкладку Дополни­тельно и нажать кнопку Архитектура сети. На экране появит­ся график, представленный на рис. 11.

Уровни активации выделены цветом: черным - для положительной акти­вации, серым — для отрицательной.

Рис. 10. Фрагмент таблицы предсказанных значений

Рис. 11. Архитектура построенной сети