统计学中的矩阵分解

矩阵分解将一个矩阵分解为更简单的结构化因子，在统计学中，它们为回归、协方差建模和降维提供了稳定、高效的机制。

Definition

统计学中的矩阵分解是将设计矩阵、协方差矩阵及相关矩阵分解为结构化分量（如三角、正交或对角因子）的过程，这些分量使统计计算在数值上稳定且高效。

Scope

本主题涵盖了用于协方差和精度矩阵的乔利斯基分解（Cholesky factorization）、用于最小二乘法的QR分解（QR decomposition）、奇异值分解（singular value decomposition）及其在主成分分析和秩亏问题中的统计用途，以及对称协方差矩阵的特征值分解（eigendecomposition）。重点在于每种分解如何服务于统计计算。

Core questions

• 乔利斯基分解如何支持协方差和精度计算？
• 为什么QR分解是获得最小二乘估计的稳定途径？
• 奇异值分解如何支撑主成分分析并处理秩亏问题？
• 协方差矩阵的特征值分解如何揭示其结构？

Key concepts

• 乔利斯基分解
• QR分解
• 奇异值分解
• 特征值分解
• 正定性
• 秩亏

Key theories

三角和正交分解

正定协方差矩阵的乔利斯基分解和设计矩阵的QR分解为统计估计核心的线性系统和最小二乘问题提供了稳定、高效的解决方案。

谱分解和奇异值分解

协方差矩阵的特征值分解和数据矩阵的奇异值分解揭示了主方向和秩，为主要成分分析以及共线或秩亏问题的处理奠定了基础。

Clinical relevance

分解使得协方差抽样、广义最小二乘法、主成分分析和岭回归（ridge regression）变得可行且稳定；例如，乔利斯基因子用于模拟相关正态变量并有效评估多元正态似然。

History

数值线性代数中发展的经典分解，特别是QR分解和奇异值分解，在20世纪后期被统计学家采纳，作为回归、多元分析和降维的稳定基础。

Key figures

• Gene Golub
• Charles Van Loan
• André-Louis Cholesky
• Carl Eckart

Seminal works

• golub2013
• monahan2011

Frequently asked questions

为什么乔利斯基分解在统计学中如此常见？

协方差矩阵和精度矩阵是对称正定的，这正是乔利斯基分解所利用的结构。它提供了一种有效的方法来求解系统、评估多元正态密度并模拟相关变量。

奇异值分解对主成分分析有何作用？

将奇异值分解应用于中心化数据矩阵，可以直接以数值稳定的方式得到主成分及其解释的方差，同时优雅地处理秩亏或共线数据。