Матричные разложения в статистике

Матричные разложения представляют собой факторизацию матрицы на более простые структурированные множители, и в статистике они обеспечивают стабильный и эффективный механизм, лежащий в основе регрессии, моделирования ковариации и снижения размерности.

Definition

Матричные разложения в статистике — это факторизации проектных, ковариационных и связанных с ними матриц на структурированные компоненты, такие как треугольные, ортогональные или диагональные множители, которые делают статистические вычисления численно стабильными и эффективными.

Scope

Эта тема охватывает разложение Холецкого для ковариационных матриц и матриц точности, QR-разложение для метода наименьших квадратов, сингулярное разложение и его статистическое применение в анализе главных компонент и задачах с неполным рангом, а также разложение на собственные значения симметричных ковариационных матриц. Основное внимание уделяется тому, как каждое разложение служит для статистических вычислений.

Core questions

• Как разложение Холецкого поддерживает вычисления ковариации и точности?
• Почему QR-разложение является стабильным путем к оценкам методом наименьших квадратов?
• Как сингулярное разложение лежит в основе анализа главных компонент и справляется с неполным рангом?
• Как разложение ковариационной матрицы на собственные значения раскрывает ее структуру?

Key concepts

• Разложение Холецкого
• QR-разложение
• Сингулярное разложение
• Разложение на собственные значения
• Положительная определённость
• Неполный ранг

Key theories

Треугольные и ортогональные факторизации

Разложение Холецкого положительно определённой ковариационной матрицы и QR-разложение матрицы плана обеспечивают стабильные, эффективные решения линейных систем и задач наименьших квадратов, лежащих в основе статистического оценивания.

Спектральные и сингулярные разложения

Разложение ковариационной матрицы на собственные значения и сингулярное разложение матрицы данных выявляют главные направления и ранги, что является основой анализа главных компонент и решения проблем коллинеарности или неполного ранга.

Clinical relevance

Разложения делают выборку ковариации, обобщенный метод наименьших квадратов, анализ главных компонент и гребневую регрессию как осуществимыми, так и стабильными; множитель Холецкого, например, используется для моделирования коррелированных нормальных переменных и эффективной оценки многомерных нормальных правдоподобий.

History

Классические факторизации, разработанные в численной линейной алгебре, в частности QR- и сингулярное разложения, были приняты статистиками в конце двадцатого века в качестве стабильной основы для регрессии, многомерного анализа и снижения размерности.

Key figures

• Gene Golub
• Charles Van Loan
• André-Louis Cholesky
• Carl Eckart

Seminal works

• golub2013
• monahan2011

Frequently asked questions

Почему разложение Холецкого так распространено в статистике?

Ковариационные матрицы и матрицы точности являются симметричными положительно определёнными, что является именно той структурой, которую использует разложение Холецкого. Оно обеспечивает эффективный способ решения систем, оценки многомерных нормальных плотностей и моделирования коррелированных переменных.

Что сингулярное разложение делает для анализа главных компонент?

Применение сингулярного разложения к центрированной матрице данных напрямую дает главные компоненты и объясняемую ими дисперсию, численно стабильным способом, который также изящно обрабатывает данные с неполным рангом или коллинеарностью.