Прогнозирование успеваемости школьников

Требовалось произвести прогнозирование успеваемости детей дошкольного возраста по предметам (чтение, письмо и математика) на основе трех проведенных тестов:

1. «Буквы» — копирование предложения, написанного преподавателем письменными буквами;

2. «Человек» — рисование человека;

3. «Точки» — рисование точек по заданной конфигурации.

За каждый тест выставлялись оценки. Всего в эксперименте участвовал 31 человек.

Задача прогнозирования успеваемости была разбита на три части по количеству школьных предметов. Выходным показателем является оценка по предмету, а входными — результаты тестов. Так как диапазон оценок по школьным предметам невелик (всего четыре значения от 2 до 5), то эту задачу удобней решать как задачу классификации, если вместо одного выходного показателя сделать четыре, каждый из которых может принимать только значения 0 и 1. Если оценка 2, то выходной набор равен 0001; если 3, то 0010; если 4, то 0100; если 5, то 1000. Trajan 2.1 Shareware Neural Network Simulator лучше решает задачи классификации, чем регрессии. На рис.7 представлен фрагмент набора примеров при обучении сети по предмету «письмо». Последние четыре столбца являются выходными. Write–5 содержит 1 для того примера, где ученик получил пятерку по письму, write–4 — четверку и т.д.

При выборе топологии оказалось, что требуется один скрытый слой с 10 нейронами и всевозможными связями с входами и выходами. Часть примеров была отсеяна: для прогнозирования «математики» и «чтения» — 4, для прогнозирования «письма» — 6. Оказалось, что на успеваемость по математике и чтению влияют результаты всех тестов, а для письма — только «Буквы» и «Человек». Ошибка обучения (для задачи классификации это главный показатель) составляет в среднем 0.01, что является приемлемым уровнем.

Рис.7 – Примеры для обучения сети прогнозированию успеваемости по предмету «письмо»

Так же существуют такие известные нейронные модели как:

Сеть Хопфилда

Модель

Одна из первых предложенных моделей сети Хопфилда используется как ассоциативная память. Исходными данными для расчета значений синаптических весов сети являются векторы — образцы классов. Сеть функционирует циклически. Выход каждого из нейронов подается на входы всех остальных нейронов. Нейроны сети имеют жесткие пороговые функции.

Рис. 1 – Сеть Хопфилда

Рис. 2 – Передаточная функция сети Хопфилда

Критерий Останова: итерации сети завершаются после того, как выходные сигналы нейронов перестают меняться.

Тип входных и выходных сигналов: биполярные (+1 и −1).

Размерности входа и выхода: ограничены при программной реализации только возможностями вычислительной системы, на которой моделируется нейронная сеть, при аппаратной реализации — технологическими возможностями. Размерности входных и выходных сигналов совпадают.

Емкость сети: сеть, содержащая N нейронов может запомнить не более M=0.15*N образов. При этом запоминаемые образы не должны быть сильно коррелированы. Мера коррелированности:

(1)

Тип передаточной функции: жесткая пороговая.

Число синапсов в функции: M*(M-1).

Обозначения:

wij — i-й синаптический вес j-го нейрона,

xi — i-й элемент входного сигнала сети,

xij — i-й элемент j-го вектора-образца,

xi' — i-й элемент выходного сигнала сети,

yj — выход j-го нейрона,

N — количество элементов (размерность) входного сигнала,

количество нейронов в сети,

M — количество векторов-образцов.

Формирование синаптических весов сети:

(2)

Функционирование сети:

(3)

Функционирование заканчивается, если на некотором шаге T для всех j:

(4)

Выходной сигнал сети:

(5)

В процессе функционирования уменьшается энергетическая функция:

(6)

Области применения:

Ассоциативная память, адресуемая по содержанию, задачи распознавания образов, задачи оптимизации.

Недостатки:

Сеть обладает небольшой емкостью.

Наряду с запомненными образами в сети хранятся и их негативы.

Размерность и тип входных сигналов с точностью совпадают с размерностью и типом выходных сигналов. Это существенно ограничивает применение сети в задаче распознавания образов.

При использовании коррелированных векторов-образцов возможно зацикливание сети в процессе функционирования.

Квадратичный рост числа синапсов при увеличении размерности входного сигнала также можно считать недостатком сети.

Преимущества:

Сеть имеет огромное историческое значение. С этой модели началось возрождение интереса к нейронным сетям в середине 80-х годов.

Модификации:

Существует модель сети Хопфилда с бинарными входными сигналами. Одна из модификаций сети предназначена для решения задач оптимизации, в частности задачи распределения работ между исполнителями.

Для увеличения емкости сети и повышения качества распознавания образов используют мультипликативные нейроны. Сети, состоящие из таких нейронов, называются сетями высших порядков.

Были предложены многослойные сети Хопфилда, которые обладают определенными преимуществами по сравнению с первоначальной моделью.

Машина Больцмана

Машина Больцмана (Boltzmann mashine) похожа по функции и действию на сеть Хопфилда и включает понятие "моделированного отжига" для поиска в пространстве состояний слоя образов глобального минимума.

Экли (Ackley), Хинтон (Hinton) и Сейновски (Sejnowski) разработали правило больцмановского обучения в 1985 г. Подобно сети Хопфилда, машина Больцмана имеет пространство состояний, которое базируется на весах соединений в слое образов. Процессы обучение сети, наполненной образами, включает сглаживание рельефа пространства состояний.

Машина Больцмана моделирует отжиг металла, который прибавляется к процессу обучение сети. Как и при физическом отжиге, температура начинается с больших значений и уменьшается с течением времени. Увеличенная температура прибавляет увеличенный шумовой коэффициент к любому нейрону в слое образов. Преимущественно, конечной температурой будет нуль. Для достижения оптимального решения целесообразно на низших температурах прибавлять больше итераций.

Машина Больцмана, учась на высокой температуре, ведет себя как случайная модель, а на низких температурах она как детерминированная. Из-за случайной компоненты в отжиговом обучении, нейрон может принять новое значение состояния, которое увеличивается быстрее, чем уменьшается общее пространство состояний. Имитация физического отжига позволяет продвигаться к глобальному минимуму, избегая локальный.

Как и в сети Хопфилда, сети может быть представлен частичный образ для восстановления отсутствующей информации. Ограничение на число классов менее 15 % от общего количества элементов в слое образов, все еще применяется.

Такие сети позволяют моделировать более сложные структуры и процессы в мозге.

Модель нейронной сети Розенблата

Серьезное развитие нейрокибернетика получила в работах американского нейрофизиолога Френсиса Розенблата (Корнельский университет). В 1958 году он предложил свою модель нейронной сети. Розенблат ввел в модель Маккаллока и Питтса способность связей к модификации, что сделало ее обучаемой. Эта модель была названа персептроном. Первоначально персептрон представлял собой однослойную структуру с жесткой пороговой функцией процессорного элемента и бинарными или многозначными входами. Первые персептроны были способны распознавать некоторые буквы латинского алфавита. Впоследствии модель персептрона была значительно усовершенствована.

Персептрон применялся для задач автоматической классификации, которые в общем случае заключаются в разделении пространства признаков между заданным количеством классов. В двухмерном случае требуется провести линию на виртуальной плоскости признаков, отделяющую одну область (класс признаков) от другой. Персептрон способен делить пространство только прямыми линиями, то есть делить пространство на плоскости.

Алгоритм обучения персептрона выглядит следующим образом. Системе предъявляется эталонный образ. Если выходы системы срабатывают правильно, весовые коэффициенты связей не изменяются. Если выходы срабатывают неправильно, весовым коэффициентам дается небольшое приращение в сторону повышения качества распознавания.

Серьезным недостатком персептрона является то, что не всегда существует такая комбинация весовых коэффициентов, при которой имеющееся множество образов будет распознаваться данным персептроном. Причина этого недостатка состоит в том, что лишь небольшое количество задач предполагает, что линия, разделяющая эталоны, будет прямой. Обычно это достаточно сложная кривая, замкнутая или разомкнутая. Если учесть, что однослойный персептрон реализует только линейную разделяющую поверхность, применение его там, где требуется нелинейная поверхность, приводит к неверному распознаванию (такая проблема называется линейной неразделимостью пространства признаков). Выходом из этого положения является использование многослойного персептрона, способного строить ломаную границу между распознаваемыми образами.

Описанная проблема не является единственной трудностью, возникающей при работе с персептронами. Еще одна трудность - также слабо формализован метод обучения персептрона. Персептрон поставил ряд вопросов, работа над решением которых привела к созданию более "разумных" нейронных сетей и разработке методов, нашедших применение не только в нейрокибернетике (например, метод группового учета аргументов, применяемый для идентификации математических моделей).

Модель нейронной сети Маккалоха

Теоретические основы нейроматематики были заложены в начале 40-х годов прошлого века. В 1943 году У.Маккалох и его ученик У.Питтс сформулировали основные положения теории деятельности головного мозга. Ими были получены следующие результаты. Во-первых, разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного произведения вектора входных сигналов и вектора весовых коэффициентов. Во-вторых, предложена конструкция сети таких элементов для выполнения логических и арифметических операций. В-третьих, сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию.

Несмотря на то, что за прошедшие годы нейроматематика ушла далеко вперед, многие утверждения Маккалоха остаются актуальными и поныне. В частности, при большом разнообразии моделей нейронов принцип их действия, заложенный Макклохом и Питтсом, остается неизменным.

Недостатком данной модели является сама модель нейрона - "пороговый" вид переходной функции. В формализме У.Маккалоха и У.Питтса нейроны имеют состояния 0 или 1 и пороговую логику перехода из состояния в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние. Пороговый вид функции не предоставляет нейронной сети достаточную гибкость при обучении и настройке на заданную задачу. Если значение вычисленного скалярного произведения даже незначительно не достигает до заданного порога, то выходной сигнал не формируется. Это значит, что теряется интенсивность выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровня на взвешенных входах в следующем слое нейронов [http://aimatrix.nm.ru/aimatrix/NeuronNetworks.htm].

ЗАКЛЮЧЕНИЕ

1. Нейронные сети могут решать разнообразные задачи прогнозирования, как для различных предметных областей, так и для данных различной природы и имеющих разные функциональные зависимости.

2. Сеть Хопфильда и машина Больцмана позволяют моделировать более сложные структуры и процессы в мозге чем прямосвязные сети.

CПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ

1 Поспелов Д.А. Структура исследований в области искусственного интеллекта / Лекции Всесоюзной школы по основным проблемам искусственного интеллекта и интеллектуальным системам. Часть I. Тверь: Ротапринт НПО "Центрпрограммсистем", 1990. С.4-28.

2 http://aimatrix.nm.ru/aimatrix/NeuronNetworks.htm