Главная > Математика > Линейный регрессионный анализ
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

5.4. Расширение регрессионной матрицы

Предположим, что наша исходная модель регрессии расширяется путем добавления еще одного регрессора, скажем так что она принимает вид

Как это повлияет на ширину доверительных интервалов, приведенных в § 5.2 и 5.3? Ответ оказывается весьма неожиданным;

эти интервалы будут не менее широкими, чем прежде, а в действительности почти всегда будут более широкими! Чтобы убедиться в этом, используем общую теорию § 3.7 и покажем, что (дисперсия оценки не может уменьшаться при включении в модель дополнительных регрессоров. Полагая

мы можем представить модель в виде

Оценкой наименьших квадратов для 8 является

В модели новая оценка для значения при заданном наборе значений регрессоров равна

из теоремы (разд. 3.7.1) получаем

Производя в правой части умножение и выделяя полный квадрат, имеем

Равенство в (5.23) достигается в том и только том случае, когда Поскольку дисперсии и ковариации не изменяются при изменении начала отсчета, указанный результат сохраняет силу, даже если и не равняется или При этом обе оценки являются смещенными оценками для Таким образом, мы приходим к следующему заключению. Хотя, расширяя модель, иногда можно добиться уменьшения смещения и улучшения согласия с экспериментальными данными, дисперсию оценки отклика уменьшить таким способом невозможно. приводят пример, в котором переход от одномерной линейной к квадратичной модели дает десятикратное увеличение дисперсии прогноза в некоторой точке.

Если в качестве оценки качества предсказания используется среднеквадратичная ошибка, то с включением в модель

дополнительных регрессоров эта ошибка может как возрастать, так и убывать. Используемая для сравнения различных моделей регрессии -статистика Мэлоуса (см. разд. основывается на "средней" среднеквадратичной ошибке.

Полагая и полагая вектор равным вектору-столбцу, у которого на месте стоит единица, а на всех остальных — нули, мы, используя указанную выше теорию, приходим к неравенству Равенство достигается здесь тогда и только тогда, когда Оно выполняется, если вектор ортогонален столбцам матрицы В общем случае дисперсия оценки наименьших квадратов для при расширении модели возрастает.

Из всего сказанного надо извлечь следующий урок: необходимо избегать "переусложнения" модели регрессии.

Упражнения к гл. 5

(см. скан)

<< Предыдущий параграф Следующий параграф >>
Оглавление