Линейная регрессия

Модели, которые состоят из линейной комбинации определенного набора функций Xk называются, линейными моделями, и для минимизации разности между моделью и данными может использоваться линейная регрессия. Общая форма модели этого вида

где Xk (x) - функции x, которые называются, функциями базиса, и a_k - свободные параметры. Заметьте, что слово "линейный" относится только к зависимости модели от параметров a_k; функции Xk (x) могут быть нелинейны.

Минимизация линейной модели выполнется относительно оценочной функции

Минимум этого выражения достигается при равенстве нулю его производной по параметрам. Заменив линейную модель этой функцией, возьмем первые производные и приравняем их к нулю. В результате получим уравнения, которые могут быть решены относительно параметров a_k.

Модели линейной регрессии могут быть следующими:

· линейной Y = a+bx

· квадратичной Y = a+bx+cx²

· полиномиальной: Y = a+bx+cx²+dx³ + ....

Обычно при исследовании реальной системы мы имеем набор данных (точек), часто называемых "наблюдениями". Задача состоит в том, чтобы связать эти данные, построив модель в форме параметрического уравнения. Это "модельное уравнение " может, в зависимости от желания исследователя и особенностей конкретной системы, представлять собой различные функции: от простого полинома до чрезвычайно сложной модели с многими параметрами. Желательно, чтобы модель была выбрана так, чтобы параметры в выражении имели реальные интерпретацию и значения.

Моделирование данных может выполняться несколькими методами: интерполяция, регрессия, или сглаживание данных. Интерполяция гарантирует, что аппроксимирующая кривая пройдет через каждую точку. Регрессия просто гарантирует, что "оценочная функция", т.е. некоторая произвольная функция, которая измеряет несоответствие между данными и моделью будет минимизирована. При этом подходе, параметры модели подбираются до тех пор, пока оценочная функция не достигнет минимума.

Стандартная ошибка и коэффициент корреляции.При подборе функции регрессии, погрешность оценивается с помощью стандартной ошибки и коэффициента корреляции. Эти инструментальные средства не совершенны, но они дают полезную оценку деятельности посадки кривой. Стандартная ошибка определена следующим образом:

где f(x_i) - значения, рассчитанные по модели регрессии, y_i - точки данных, и n - число параметров в конкретной модели (так, чтобы знаменатель соответствовал числу степеней свободы). Стандартная ошибка определяет разброс точек данных вокруг кривой регрессии. По мере улучшения качества модели стандартная ошибка приближается к нулю.

Другой критерий "согласия" - это коэффициент корреляции. Чтобы объяснить значение этого критерия, мы должны возвратиться точкам данных и определить допустимое отклонение, которое определяет величину разброса данных вокруг среднего:

Где среднее число точек данных y задается как

Величина S_t рассматривает разброс вокруг постоянной линии (среднее) в отличие от разброса вокруг модели регрессии. Это - неопределенность зависимой переменной от регрессии. Мы также определяем отклонение от сглаживающей кривой как

Это выражение по форме напоминает формулу для стандартной ошибки, приведенной выше; Оно дает нам разброс точек вокруг подобранной функции. Таким образом, уменьшение погрешности может быть определено количественно как разность этих двух чисел. Поскольку эта величина зависит от масштаба данных, разность отнесена к значению S_t (нормирована).

гдеr - коэффициент корреляции. Когда регрессионная зависимость хорошо описывает данные, коэффициент корреляции близок к единице, а стандартная ошибка близка к нулю.