Задача регрессии и метод наименьших квадратов

Задачей обработки совместных измерений является построение аналитической зависимости по имеющимся совместным измерениям двух (или нескольких) величин. В общем случае структура зависимости y = f(x) заранее неизвестна и определяется исходя из имеющихся экспериментальных данных. В ряде случаев предполагаемый вид функциональной зависимости y = f(x) известен заранее на основании каких-либо теоретических соображений и неизвестны лишь параметры этой зависимости.

На плоскости xOy каждая пара совместно измеренных значений (x_i, y_i) определяет положение некоторой точки. Величины x_i и y_i не свободны от погрешностей, поэтому определяемые ими точки не лежат точно на какой-то кривой, а образуют некоторое облако с нечеткими границами (рис. 4.1). Подлежащая определению функциональная зависимость y = f(x) описывает некоторую кривую, называемую регрессионной кривой, проходящую через область, заполненную точками (x_i, y_i). В основу выбора вида кривой y = f(x) могут быть положены различные факторы: вид облака точек и имеющаяся информация о связи величин x и y, а также соображения удобства использования полученной кривой в дальнейшем и др.

Сопоставление полученных в результате решения этих задач экспериментальной зависимости и конкретизированной теоретической кривой позволяет сделать вывод о справедливости положений данной теории. Таким образом, просто найти параметры теоретической кривой, наилучшим образом соответствующие эксперименту, не достаточно. Для подтверждения справедливости теории необходимо также, чтобы совпадали основные качественные особенности поведения этих кривых. Так, для случая, показанного на рис. 4.2, аппроксимация экспериментальной зависимости прямой линией (показана штрихами) недопустима и необходимо использование нелинейной функции (показана сплошной линией).

Аналитическая зависимость y = f(x) обычно содержит ряд параметров a₁, a₂, …, a_K, не зависящих от х, и выражение подлежащей определению кривой можно записать в виде

. (4.1)

Изменяя параметры, можно изменять как вид кривой в некоторых пределах, так и ее положение на плоскости xOy.

В случае совпадения качественных особенностей кривых указанные параметры зависимости должны быть найдены таким образом, чтобы искомая теоретическая кривая y = f(x) наилучшим образом ложилась бы на экспериментальные точки набора совместных наблюдений (x_i, y_i), i = 1, …, N. Подставив в качестве аргумента функции (4.1) значение x_i, получим . Для наблюдений будут иметь место отклонения

, (4.2)

которые называются остаточными погрешностями.

Существуют различные критерии выбора наилучшего соответствия экспериментальных точек и регрессионной кривой. Одним из наиболее общих способов отыскания оценок истинных значений искомых параметров является разработанный Лежандром и Гауссом метод наименьших квадратов (МНК). Согласно этому методу оценки параметров a_j выбираются так, чтобы минимизировать сумму квадратов остаточных погрешностей

. (4.3)

В точке минимума (4.3) частные производные функции по каждому параметру должны обращаться в нуль, что приводит к системе уравнений

(4.4)

где , позволяющей определить наилучшие значения параметров согласно условию (4.3).

При использовании МНК значения x_i обычно задаются экспериментатором, поэтому можно считать, что они содержат только приборные погрешности и не содержат случайных. Значения y_i содержат как приборные, так и случайные погрешности. Для определения случайных погрешностей параметров предположим, что распределения величин y_i взаимно независимы и имеют одно и то же среднеквадратическое отклонение.

При выполнении этих условий остаточная дисперсия, представляющая собой среднее значение суммы квадратов остаточных погрешностей величины y,также обращается в минимум:

, (4.5)

где K – количество искомых параметров; N – K – число степеней свободы уравнения регрессии. Появление множителя взамен обосновывается в математической статистике.