Главная > Математика > Линейный регрессионный анализ
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

3.2. Свойства оценок наименьших квадратов

Если предположить, что "ошибки" являются несмещенными, т. е. то

и есть несмещенная оценка вектора Если, кроме того, предположить, что все некоррелированы и имеют одинаковую дисперсию, то и

Отсюда по теореме 1.4 (следствие 2) получаем

Здесь возникает такой вопрос: почему в качестве оценки вектора мы выбираем именно (оценку наименьших квадратов), а не какую-нибудь другую оценку? Мы покажем ниже, что в достаточно разумном классе оценок является оценкой параметра обладающей наименьшей дисперсией. Эта оценка легко "выделяется" из вектора простым умножением слева на вектор-строку с, у которой элемент равен единице, а все остальные элементы равны нулю. Оказывается, что такое специфическое свойство оценки можно обобщить на случай произвольной линейной комбинации Для этого используем следующую теорему.

Теорема 3.2. Пусть -оценка наименьших квадратов вектора Тогда в классе всех линейных несмещенных оценок линейной комбинации оценка является единственной оценкой, обладающей минимальной дисперсией. (Мы говорим при этом, что является наилучшей линейной несмещенной оценкой для

Доказательство. В соответствии с § 3.1 оценка 0 имеет вид где Поэтому для всех является линейной несмещенной оценкой для Тогда или так что Таким образом,

Далее,

(последнее равенство справедливо в силу теоремы 3.1), так что

Равенство здесь достигается только в том случае, когда Это и означает, что имеет минимальную дисперсию и является единственной оценкой с таким свойством в рассматриваемом классе.

В этом параграфе мы предполагали, что матрица X имеет полный ранг, так что и из вытекает, что Полагая мы получаем отсюда, что является для при каждом а.

Отметим, что доказанная теорема остается в силе и тогда, когда матрица X неполного ранга. При этом матрица становится проекционной матрицей, имеющей свойства, описанные в

До сих пор мы не делали никаких предположений о распределении Однако в том случае, когда ошибки независимы и одинаково распределены по закону т. е. или в эквивалентной форме то имеет минимальную дисперсию среди всех несмещенных оценок, а не только в классе линейных несмещенных оценок [по поводу доказательства этого факта см. Rao (1973, с. 319)J. В частности, оценка., являющаяся при этом также и оценкой максимального правдоподобия для (разд. 4.1.2), является эффективной оценкой

Когда общее для всех распределение не является нормальным, оценка наименьших квадратов для не совпадает с асимптотически эффективной оценкой максимального правдоподобия. Асимптотическая эффективность оценки наименьших квадратов для этого случая доказана в книге Сох, Hinkley (1968).

Eicker (1963) рассматривал вопрос о состоятельности и асимптотической нормальности оценки при При слабых ограничениях он показал, что является состоятельной оценкой вектора тогда и только тогда, когда наименьшее собственное значение матрицы стремится к бесконечности. Такое ограничение на наименьшее собственное значение является весьма слабым, и поэтому указанный результат имеет широкое применение. Eicker (1963) также доказал теорему, содержащую необходимые и достаточные условия для асимптотической нормальности каждой (см. Anderson М. R. (1971, с. 23-27)).

Упражнения 3b

(см. скан)

(см. скан)

<< Предыдущий параграф Следующий параграф >>
Оглавление