Построение решающей функции (при классификации в распознавании образов) по обучающей выборке.

Суть задачи классификации заключается в разбиении пространства признаков на непересекающиеся области – по одной для каждого класса.

Допустим, имеются два информативных признака и два класса. На рисунке приведена обучающая выборка (кружки, когда истинным является первый класс, и точки, когда истинным является второй класс).

решающее правило: если решающая функция больше нуля ( ), то принимается решение об истинности первого класса; если решающая функция меньше нуля ( ), то принимается решение об истинности второго класса; и граница, разделяющая область на две подобласти: и .

Обучающая выборка служит для построения решающей функции . Качество разделения области на две подобласти оценивается по проверочной (экзаменующей) выборке.

При обучении параметры решающей функции подбираются таким образом, чтобы ошибка классификации была наименьшей. На этом этапе опять можно применять параметрический и непараметрический подходы. При параметрическом подходе уравнение решающей функции задается априори с точностью до неизвестных параметров. Непараметрический подход обеспечивает построение решающей функции без привлечения информации об ее структуре.

Универсальный вид решающей функции строится по обучающей выборке, а некоторые параметры этой функции (и при непараметрическом подходе тоже присутствуют параметры, которые надо подстраивать) вычисляются по экзаменующей выборке из условий наилучшей классификации. Оба эти этапа можно реализовать на одной обучающей выборке методом "скользящего экзамена". По всем точкам выборки, за исключением одной, строится решающая функция, а в этой точке (которая не участвовала в построении решающей функции) осуществляется проверка качества классификации. Затем берется другая точка и в ней вновь происходит проверка качества распознавания, осуществленного с учетом всех точек, кроме данной. Таким способом происходит проверка качества классификации во всех точках обучающей выборки. Полученный суммарный показатель качества классификации минимизируется по параметрам решающей функции.