Численная линейная алгебра для статистики

Численная линейная алгебра для статистики — это исследование того, как матричные вычисления, лежащие в основе регрессии, многомерного анализа и оценки ковариации, выполняются точно и эффективно с конечной точностью.

Definition

Численная линейная алгебра для статистики — это применение и анализ алгоритмов матриц с конечной точностью к линейно-алгебраическим задачам статистики, главным образом к методу наименьших квадратов, вычислению ковариации и решению линейных систем, возникающих при оценивании.

Scope

Эта тема охватывает решение задач наименьших квадратов и нормальных уравнений, обусловленность матриц плана и ее статистические последствия, использование ортогональных методов для обеспечения стабильности, а также эффективную обработку больших или структурированных ковариационных матриц и матриц плана. Это статистическая специализация вычислительной линейной алгебры; сами матричные разложения рассматриваются в родственной теме.

Core questions

• Как точно вычисляются оценки методом наименьших квадратов, когда предикторы почти коллинеарны?
• Почему нормальные уравнения численно уступают ортогональным подходам?
• Как обусловленность матрицы плана влияет на оценочные коэффициенты?
• Как эффективно вычисляются большие и структурированные статистические матрицы?

Key concepts

• Нормальные уравнения
• Число обусловленности
• Коллинеарность
• Ортогонализация
• Обратная устойчивость

Key theories

Стабильные наименьшие квадраты

Решение задачи наименьших квадратов с помощью ортогональной факторизации позволяет избежать формирования нормальных уравнений, обусловленность которых является квадратом обусловленности исходной задачи, тем самым сохраняя точность при коррелированных предикторах.

Обусловленность и коллинеарность

Близкая коллинеарность увеличивает число обусловленности матрицы плана, усиливая ошибку округления и дисперсию оценочных коэффициентов, что напрямую связывает численное свойство со статистической нестабильностью.

Clinical relevance

Точные матричные вычисления определяют, насколько надежны коэффициенты регрессии, обобщенные оценки методом наименьших квадратов и ковариационные матрицы; распознавание плохой обусловленности объясняет необъяснимую нестабильность оценок и предлагает способы устранения, такие как центрирование, масштабирование или регуляризация.

History

Разработка численно стабильных матричных алгоритмов Уилкинсоном, Голубом и другими в середине XX века постепенно была принята статистиками, которые признали, что подход к регрессии на основе нормальных уравнений является численно хрупким, и приняли ортогональные альтернативы.

Key figures

• Gene Golub
• Charles Van Loan
• Kenneth Lange
• James Wilkinson

Seminal works

• golub2013
• lange2010

Frequently asked questions

Почему нормальные уравнения не рекомендуются для метода наименьших квадратов?

Формирование нормальных уравнений возводит в квадрат число обусловленности задачи, поэтому ошибка округления усиливается при коррелированных предикторах. Ортогональная факторизация решает ту же задачу наименьших квадратов без этой потери точности.

Что число обусловленности говорит статистику?

Оно измеряет, насколько малые возмущения в данных могут изменить решение. Большое число обусловленности, обычно возникающее из-за коллинеарных предикторов, предупреждает о том, что оценки коэффициентов численно и статистически нестабильны.