矩阵分解

矩阵分解将一个矩阵表示为更简单因子（如三角、正交或对角矩阵）的乘积，从而可以稳定地读取解、最小二乘拟合和谱信息。

Definition

矩阵分解是将一个矩阵表示为两个或多个具有特殊结构的矩阵的乘积，选择这些结构是为了使基本问题（如求解系统、拟合数据、计算秩或范数）变得直接且数值稳定。

Scope

本主题涵盖QR分解（通过Householder反射和Givens旋转或Gram-Schmidt正交化）、对称正定矩阵的Cholesky分解以及奇异值分解，以及它们在最小二乘问题、秩确定和低秩近似中的应用。

Core questions

• QR分解如何在不形成病态正规方程的情况下解决最小二乘问题？
• Cholesky分解何时适用？为什么它比对称正定矩阵的一般LU分解更经济、更稳定？
• 奇异值分解揭示了关于秩、范数和低秩近似的哪些信息？
• 哪种正交化方案（Householder、Givens或Gram-Schmidt）能最好地保持精度？

Key theories

QR分解和正交化

任何矩阵A都可以写成A = QR，其中Q具有正交列，R是上三角矩阵；通过Householder反射计算，它是向后稳定的，并提供了线性最小二乘解的标准途径。

奇异值分解

每个矩阵都可以分解为A = U S V转置，其中U、V是正交矩阵，S是对角矩阵，其对角线元素为非负奇异值；SVD通过Eckart-Young定理揭示了秩、2-范数和条件数、四个基本子空间以及最优低秩近似。

Cholesky分解

对称正定矩阵可以分解为A = L L转置，其中L是下三角矩阵；该分解不需要主元选择即可保持稳定性，并且成本约为一般LU分解的一半。

Mechanisms

Householder QR通过正交反射一次引入一列对角线以下的零，隐式累积Q；Givens旋转将单个元素置零，适用于稀疏或更新的场景。Cholesky利用对称性和正定性直接计算L。SVD分两个阶段计算：首先通过正交变换进行双对角化，然后对双对角形式进行迭代对角化，从而保持所有中间量的良好条件。

Clinical relevance

矩阵分解是最小二乘数据拟合、主成分分析和降维、不适定逆问题的正则化、推荐系统和模型降阶背后的核心技术，其中SVD尤其能提供高维数据在数学上最优的低秩概括。

History

正交分解的系统数值应用在20世纪50年代和60年代随着Householder反射和用于SVD的Golub-Kahan算法而发展起来，这使得奇异值分解从一个理论工具变为一个常规可计算的工具，并使其在最小二乘和数据分析中占据核心地位。

Key figures

• Alston S. Householder
• Gene H. Golub
• William Kahan

Seminal works

• trefethen1997
• golub2013

Frequently asked questions

为什么最小二乘法要使用QR分解而不是正规方程？

形成正规方程会使矩阵的条件数平方，这可能会损害精度。QR分解通过正交变换处理原始矩阵，并且是向后稳定的，因此它能提供更可靠的最小二乘解。

是什么让SVD如此广泛使用？

SVD同时揭示了矩阵的秩、范数、条件数和最优低秩近似，所有这些都通过数值行为良好的正交因子实现，这就是它成为数据压缩、去噪和降维基础的原因。