Методы статистического оценивания неизвестных параметров

Метод максимального правдоподобия

Метод максимального правдоподобия состоит в том, что статистическая оценка неизвестного параметра по наблюдаемым значениям случайной величины (подчиненной закону распределения , где – плотность или вероятность ) определяется из условия

где – функция правдоподобия (1).

По определению функция при каждом фиксированном значении параметра является мерой правдоподобности того, что наблюдаемые значения будут именно . Поэтому, изменяя значения параметра при данных конкретных значениях выборки , можно проследить, при каких значениях данная выборка является более правдоподобной, а при каких – менее и выбрать такое значение параметра , при котором данная выборка выглядит наиболее правдоподобной. Очевидно, что является некоторой функцией от конкретных значений .

Можно показать, в частности, что при достаточно широких условиях регулярности, накладываемых на изучаемый закон распределения , а именно:

1. область возможных значений исследуемой случайной величины, в которой , не зависит от ;

2. в тождестве допустимо дифференцирование по под знаком интеграла;

3. величина , определенная соотношением не равна нулю;

оценки максимального правдоподобия параметра являются состоятельными, асимптотически несмещенными (т.е. их смещения стремятся к нулю при неограниченном увеличении объема выборки) и асимптотически эффективными.

Однако из этого не следует, что оценки максимального правдоподобия будут наилучшими во всех ситуациях. Во-первых, их хорошие свойства проявляются часто лишь при очень больших объемах выборок (т.е. являются асимптотическими), так что при малых с ними могут конкурировать (и даже превосходить их) другие оценки, например, оценки метода моментов, метода наименьших квадратов и т.д. Во-вторых, для построения оценок максимального правдоподобия и обеспечения их хороших свойств необходимо точно знать тип анализируемого закона распределения , что в большинстве случаев оказывается практически нереальным. В подобных ситуациях бывает выгоднее искать не оценку, являющуюся наилучшей в рамках данного конкретного общего вида (но, как часто бывает, резко теряющую свои хорошие свойства при отклонениях реального распределения от типа ), а оценку, хотя и не наилучшую в рамках совокупности , но обладающую достаточно устойчивыми свойствами в более широком классе распределений, включающем в себя в качестве частного случая. Подобные оценки принято называть устойчивыми или робастными (robust estimation – устойчивое оценивание). И последнее, оценки максимального правдоподобия могут не быть даже состоятельными, если число оцениваемых по выборке параметров велико (имеет тот же порядок, что и объем выборки ) и растет вместе с увеличением числа наблюдений.

Оценки максимального правдоподобия можно находить следующим образом:

Если функция удовлетворяет определенным условиям регулярности и экстремум в достигается во внутренней точке области допустимых значений неизвестного параметра , то в точке должны обращаться в нуль частные производные функции , а следовательно, и логарифмической функции правдоподобия

(5)

в силу монотонного характера этой зависимости. Функция более удобна для вычислений. Значит, в данном случае оценка максимального правдоподобия может быть найдена как решение системы уравнений

, . (6)

пример.

Метод моментов

Пусть – исследуемая одномерная случайная величина, закон распределения которой , где функция – плотность вероятности, если непрерывна, и вероятность , если дискретна, зависит от некоторого, вообще говоря, многомерного параметра . Необходимо оценить неизвестное значение этого параметра, т.е. построить оценку по данным выборки .

Метод моментов заключается в приравнивании определенного количества выборочных моментов к соответствующим теоретическим (т.е. вычисленным с использованием функции ) моментам исследуемой случайной величины, причем последние, очевидно, являются функциями от неизвестных параметров .

(Начальным моментом порядка случайной величины называют математическое ожидание величины :

Центральным моментом случайной величины называют математическое ожидание величины :

)

Рассматривая количество моментов, равное числу подлежащих оценке параметров, и решая полученные уравнения относительно этих параметров, получим искомые оценки. Таким образом, оценки по методу моментов неизвестных параметров являются решением системы уравнений:

, , если дискретна. (7)

, , если непрерывна. (7)

Вопрос о том, какие именно моменты включать в систему (7) (начальные, центральные или их некоторые модификации типа коэффициентов асимметрии или эксцесса), следует решать, руководствуясь конкретными целями исследования и сравнительно простой формы зависимости альтернативных теоретических характеристик от оцениваемых параметров . В статистической практике редко используют моменты даже четвертого порядка.

Достоинством метода моментов является сравнительно простое вычисление оценок, а также то, что оценки, полученные в качестве решения системы (7), являются функциями от выборочных моментов. Это упрощает исследование статистических свойств оценок метода моментов. Иногда оценки, полученные методом моментов, принимают в качестве первого приближения, по которому можно определять другими методами оценки более высокой эффективности.

Пример.