Студопедия

КАТЕГОРИИ:

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника



Явление переобучения сети

Читайте также:
  1. Анализ ситуации и выявление художественно-конструктивного и функционального состояния квартиры студии
  2. Аптека подала заявление в комиссию по лицензированию на получение лицензии на деятельность.связанную с оборотом нарк.средств и психп.репаратов…..
  3. Базаров — явление социологическое.
  4. Благотворительность и меценатство как социально-культурное явление
  5. Будь проявлением Единого на благо всех НАС!
  6. Важное значение для диагноза и прогноза отклонений в развитии имеет также выявление реакции ребенка на речевое общение.
  7. Вопрос 21. Признание гражданина безвестно отсутствующим и объявление его умершим: основания, порядок, последствия.
  8. Вопрос 39. Социализация, как психолого-педагогическое явление.
  9. Вопрос 42. Социализация как социально-педагогическое явление, его виды. Предмет и задачи социальной педагогики.
  10. Вопрос № 11. Явление фильтрации воды.

Одна из более всего серьезных трудностей при обучение сети состоит в том, что в ряде случаев минимизируется не та ошибка, которую на самом деле надо минимизировать: необходимо минимизировать ошибку, которая появляется в сети, если на нее подаются целиком новые наблюдения. Очень важно, чтобы нейроная сеть имела возможность приспосабливаться к этим новым наблюдениям. Что же происходит на самом деле? Сеть учится минимизировать ошибку на некотором ограниченном учебном множестве.

Сети с большим количеством весов могут воссоздавать очень сложные функции, и, в этом случае, они склонны к переобучения. Сеть с небольшим количеством весов может оказаться недостаточно гибкой, чтобы смоделировать имеющуюся зависимость. Например, однослойная линейная сеть способная воссоздавать только линейные функции. Если использовать многослойные линейные сети, то ошибка всегда будет меньшее, но это может свидетельствовать не о качестве модели, а о том, что проявляется явление переобучения.

Для того чтобы обнаружить эффект переобучения, используется механизм контрольной проверки. Часть учебных наблюдений резервируется как контрольные наблюдения и не используется при обучение сети. Вместо этого в зависимости от работы алгоритма эти наблюдения применяются для независимого контроля результата. Сначала ошибка сети на учебной и контрольной множествах будет одинаковой; если они существенно отличаются, то, вероятно, это означает, что разбивка наблюдений на 2 множества не обеспечила их однородность. По мере обучение сети ошибка убывает, и, пока обучение уменьшает функцию ошибок, ошибка на контрольном множестве также будет убывать. Если же контрольная ошибка перестала уменьшаться или стала возрастать, это указывает на то, что сеть начала слишком близко отвечать учебным данным и обучение следует остановить. В этом случае следует уменьшить количество нейронов или прослоек, так как сеть есть слишком мощной для решения данной задачи. Если же, наоборот, сеть имеет недостаточную мощность, чтобы воссоздать имеющуюся зависимость, то явление переобучения наблюдаться не будет и обе ошибки – обучение и проверки – не достигнут достаточно маленького уровня. При этом перебираются варианты многие архитектуры сети.



Необходимость многократных экспериментов ведет к тому, что контрольное множество начинает играть ключевую роль в выборе модели нейроної сети, то есть становится частью процесса обучение. Тем самым его роль как независимого критерия качества модели ослабляется, поскольку при большом числе экспериментов возникает риск переобучения нейроної сети на контрольном множестве. Для того чтобы гарантировать надежность модели сети, которая выбирается, резервируют еще тестовое множество наблюдений. Итоговая модель тестується на данных из этого множества, чтобы убедиться, что результаты, которые достигнутые на учебному и контрольному множествах есть реальные. Разумеется, для того чтобы доброе выполнять свою роль, тестовое множество должно быть использована только 1 раз: если ее использовать повторно для корректирования процесса обучение, то она фактически превратится в контрольное множество.

Итак, процедура построения нейроної сети состоит из таких шагов:

§ выбору начальной конфигурации сети;

§ моделирование и обучение сети с оценкой контрольной ошибки и использованием дополнительных нейронов или промежуточных слоев;

§ выявление эффекта переобучение и корректирование конфигурации сети.

 


Дата добавления: 2015-08-05; просмотров: 14; Нарушение авторских прав


<== предыдущая лекция | следующая лекция ==>
Архитектура нейроних мереж | Розширення versus звуження безпеки: дебати
lektsii.com - Лекции.Ком - 2014-2019 год. (0.013 сек.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав
Главная страница Случайная страница Контакты