Оценка дисперсии случайной ошибки модели регрессии

При проведении регрессионного анализа основная трудность заключается в том, что генеральная дисперсия случайной ошибки является неизвестной величиной, что вызывает необходимость в расчёте её несмещённой выборочной оценки.

Несмещённой оценкой дисперсии (или исправленной дисперсией) случайной ошибки линейной модели парной регрессии называется величина, рассчитываемая по формуле:

где n – это объём выборочной совокупности;

еi – остатки регрессионной модели:

Для линейной модели множественной регрессии несмещённая оценка дисперсии случайной ошибки рассчитывается по формуле:

где k – число оцениваемых параметров модели регрессии.

Оценка матрицы ковариаций случайных ошибок Cov(ε) будет являться оценочная матрица ковариаций:

где I n – единичная матрица.

Оценка дисперсии случайной ошибки модели регрессии распределена по ε2 (хи-квадрат) закону распределения с (n-k-1) степенями свободы.

Для доказательства несмещённости оценки дисперсии случайной ошибки модели регрессии необходимо доказать справедливость равенства

Доказательство . Примем без доказательства справедливость следующих равенств:

где G2(ε) – генеральная дисперсия случайной ошибки;

S2(ε) – выборочная дисперсия случайной ошибки;

– выборочная оценка дисперсии случайной ошибки.

Тогда:

т. е.

что и требовалось доказать.

Следовательно, выборочная оценка дисперсии случайной ошибки

является несмещённой оценкой генеральной дисперсии случайной ошибки модели регрессии G2(ε).

При условии извлечения из генеральной совокупности нескольких выборок одинакового объёма n и при одинаковых значениях объясняющих переменных х , наблюдаемые значения зависимой переменной у будут случайным образом колебаться за счёт случайного характера случайной компоненты β . Отсюда можно сделать вывод, что будут варьироваться и зависеть от значений переменной у значения оценок коэффициентов регрессии и оценка дисперсии случайной ошибки модели регрессии.

Для иллюстрации данного утверждения докажем зависимость значения МНК-оценки

от величины случайной ошибки ε.

МНК-оценка коэффициента β1 модели регрессии определяется по формуле:

В связи с тем, что переменная у зависит от случайной компоненты ε (yi=β0+β1xi+εi), то ковариация между зависимой переменной у и независимой переменной х может быть представлена следующим образом:

Для дальнейших преобразования используются свойства ковариации:

1) ковариация между переменной х и константой С равна нулю: Cov(x,C)=0, C=const ;

2) ковариация переменной х с самой собой равна дисперсии этой переменной: Cov(x,x)=G2(x).

Исходя из указанных свойств ковариации, справедливы следующие равенства:

Cov(x,β0)=0 (β0=const);

Cov(x, β1x)= β1*Cov(x,x)= β1*G2(x).

Следовательно, ковариация между зависимой и независимой переменными Cov(x,y) может быть записана как:

Cov(x,y)= β1G2(x)+Cov(x,ε).

В результате МНК-оценка коэффициента β1 модели регрессии примет вид:

Таким образом, МНК-оценка

может быть представлена как сумма двух компонент:

1) константы β1 , т. е. истинного значения коэффициента;

2) случайной ошибки Cov(x,ε ), вызывающей вариацию коэффициента модели регрессии.

Однако на практике подобное разложение МНК-оценки невозможно, потому что истинные значения коэффициентов модели регрессии и значения случайной ошибки являются неизвестными. Теоретически данное разложение можно использовать при изучении статистических свойств МНК-оценок.

Аналогично доказывается, что МНК-оценка

коэффициента модели регрессии и несмещённая оценка дисперсии случайной ошибки

могут быть представлены как сумма постоянной составляющей (константы) и случайной компоненты, зависящей от ошибки модели регрессии ε.

16. Состоятельность и несмещённость МНК-оценок

Предположим, что методом наименьших квадратов получена оценка

Для того, чтобы данная оценка могла быть принята за оценку параметра

необходимо и достаточно выполнения трёх статистических свойств:

1) свойства несмещённости;

2) свойства состоятельности;

3) свойства эффективности.

Сделаем следующие предположения об отклонениях єi:

1) величина єi является случайной переменной;

2) математическое ожидание єi равно нулю: М ( єi) = 0;

3) дисперсия є постоянна: D( єi) = D( єi) = s 2 для всех i, j;

4) значения єi независимы между собой, следовательно, справедливо следующее выражение:

Если данные предпосылки выполняются, то оценки, найденные с помощью метода наименьших квадратов, обладают свойствами несмещённости, состоятельности и эффективности.

Если третье и четвёртое предположения не выполняются, т. е. дисперсия случайных компонент непостоянна и/или значения є коррелируют друг с другом, то свойства несмещенности и состоятельности сохраняются, но свойство эффективности – нет.

Величина

называется несмещённой оценкой параметра

если её выборочное математическое ожидание равно оцениваемому параметру генеральной совокупности:

Отсюда следует, что

где φi – это величина смещения оценки.

Рассмотрим свойство несмещённости МНК-оценок на примере модели парной регрессии.

Необходимо доказать, что оценка

полученная методом наименьших квадратов, является несмещённой оценкой параметра β1 для нормальной линейной модели регрессии, т. е. необходимо доказать справедливость равенства

Доказательство . Проведём доказательство утверждения

через ковариационную матрицу:

То же самое утверждение

можно доказать в более развёрнутом виде:

Следовательно, оценка

полученная методом наименьших квадратов, является несмещённой оценкой коэффициента β1 нормальной линейной модели парной регрессии.

Свойство несмещённости оценки

коэффициента β0 нормальной линейной модели парной регрессии, полученной методом наименьших квадратов, доказывается аналогично.

Для модели множественной регрессии доказательство свойства несмещённости оценок параметров βi , полученных методом наименьших квадратов, целесообразно провести в матричной форме:

Следовательно, оценки

полученные методом наименьших квадратов, являются несмещёнными оценками коэффициентов βi нормальной линейной модели множественной регрессии.

Величина

является состоятельной оценкой параметра

если она удовлетворяет закону больших чисел. Суть закона больших чисел состоит в том, что с увеличением выборочной совокупности значение оценки

стремится к значению параметра

генеральной совокупности:

Условие состоятельности можно также записать через теорему Бернулли:

т. е. значение оценки

сходится по вероятности к значению параметра

генеральной совокупности, при условии, что объём выборочной совокупности стремится к бесконечности.

На практике оценка

полученная методом наименьших квадратов, считается состоятельной оценкой параметра,

если выполняются два условия:

1) смещение оценки равно нулю или стремится к нему при объёме выборки, стремящемся к бесконечности:

2) дисперсия оценки параметра

стремится к нулю при объёме выборки, стремящемся к бесконечности:

Рассмотрим свойство состоятельности МНК-оценок на примере модели парной регрессии.

Необходимо доказать, что оценка

полученная методом наименьших квадратов, является состоятельной оценкой параметра β1 для нормальной линейной модели регрессии.

Доказательство . Докажем первое условие состоятельности для МНК-оценки

Докажем второе условие состоятельности для МНК-оценки

МНК-оценка

подчиняется нормальному закону распределения с математическим ожиданием β1 и дисперсией

или

где индекс 22 указывает на расположение дисперсии параметра β1 в матрице ковариаций.

Свойство состоятельности оценки

коэффициента β0 нормальной линейной модели парной регрессии, полученной методом наименьших квадратов, доказывается аналогично.

Оценка стандартной ошибки МНК-оценки

определяется по формуле:

Для модели множественной регрессии доказательство свойства несмещённости оценок параметров βi , полученных методом наименьших квадратов, целесообразно провести в матричной форме:

Следовательно, оценки

полученные методом наименьших квадратов, являются несмещёнными оценками коэффициентов βi нормальной линейной модели множественной регрессии.

Эффективность МНК-оценок доказывается с помощью теоремы Гаусса-Маркова.