Студопедия

КАТЕГОРИИ:

АстрономияБиологияГеографияДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРиторикаСоциологияСпортСтроительствоТехнологияФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника


Явление переобучения сети




Одна из более всего серьезных трудностей при обучение сети состоит в том, что в ряде случаев минимизируется не та ошибка, которую на самом деле надо минимизировать: необходимо минимизировать ошибку, которая появляется в сети, если на нее подаются целиком новые наблюдения. Очень важно, чтобы нейроная сеть имела возможность приспосабливаться к этим новым наблюдениям. Что же происходит на самом деле? Сеть учится минимизировать ошибку на некотором ограниченном учебном множестве.

Сети с большим количеством весов могут воссоздавать очень сложные функции, и, в этом случае, они склонны к переобучения. Сеть с небольшим количеством весов может оказаться недостаточно гибкой, чтобы смоделировать имеющуюся зависимость. Например, однослойная линейная сеть способная воссоздавать только линейные функции. Если использовать многослойные линейные сети, то ошибка всегда будет меньшее, но это может свидетельствовать не о качестве модели, а о том, что проявляется явление переобучения.

Для того чтобы обнаружить эффект переобучения, используется механизм контрольной проверки. Часть учебных наблюдений резервируется как контрольные наблюдения и не используется при обучение сети. Вместо этого в зависимости от работы алгоритма эти наблюдения применяются для независимого контроля результата. Сначала ошибка сети на учебной и контрольной множествах будет одинаковой; если они существенно отличаются, то, вероятно, это означает, что разбивка наблюдений на 2 множества не обеспечила их однородность. По мере обучение сети ошибка убывает, и, пока обучение уменьшает функцию ошибок, ошибка на контрольном множестве также будет убывать. Если же контрольная ошибка перестала уменьшаться или стала возрастать, это указывает на то, что сеть начала слишком близко отвечать учебным данным и обучение следует остановить. В этом случае следует уменьшить количество нейронов или прослоек, так как сеть есть слишком мощной для решения данной задачи. Если же, наоборот, сеть имеет недостаточную мощность, чтобы воссоздать имеющуюся зависимость, то явление переобучения наблюдаться не будет и обе ошибки – обучение и проверки – не достигнут достаточно маленького уровня. При этом перебираются варианты многие архитектуры сети.

Необходимость многократных экспериментов ведет к тому, что контрольное множество начинает играть ключевую роль в выборе модели нейроної сети, то есть становится частью процесса обучение. Тем самым его роль как независимого критерия качества модели ослабляется, поскольку при большом числе экспериментов возникает риск переобучения нейроної сети на контрольном множестве. Для того чтобы гарантировать надежность модели сети, которая выбирается, резервируют еще тестовое множество наблюдений. Итоговая модель тестується на данных из этого множества, чтобы убедиться, что результаты, которые достигнутые на учебному и контрольному множествах есть реальные. Разумеется, для того чтобы доброе выполнять свою роль, тестовое множество должно быть использована только 1 раз: если ее использовать повторно для корректирования процесса обучение, то она фактически превратится в контрольное множество.

Итак, процедура построения нейроної сети состоит из таких шагов:

§ выбору начальной конфигурации сети;

§ моделирование и обучение сети с оценкой контрольной ошибки и использованием дополнительных нейронов или промежуточных слоев;

§ выявление эффекта переобучение и корректирование конфигурации сети.

 


Поделиться:

Дата добавления: 2015-08-05; просмотров: 67; Мы поможем в написании вашей работы!; Нарушение авторских прав





lektsii.com - Лекции.Ком - 2014-2024 год. (0.005 сек.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав
Главная страница Случайная страница Контакты