统计学中的数值线性代数

统计学中的数值线性代数研究的是如何在有限精度下，准确高效地进行回归、多变量分析和协方差估计等基础矩阵计算。

Definition

统计学中的数值线性代数是将有限精度矩阵算法应用于统计学中的线性代数问题，主要是最小二乘法、协方差计算以及估计中出现的线性系统求解。

Scope

本主题涵盖最小二乘问题和正规方程的求解、设计矩阵的条件数及其统计学后果、正交方法在稳定性方面的应用，以及大型或结构化协方差和设计矩阵的高效处理。它是计算线性代数在统计学中的专业化应用；矩阵分解本身将在相关主题中讨论。

Core questions

• 当预测变量接近共线性时，如何准确计算最小二乘估计？
• 为什么正规方程在数值上不如正交方法？
• 设计矩阵的条件数如何影响估计系数？
• 如何高效计算大型和结构化统计矩阵？

Key concepts

• 正规方程
• 条件数
• 共线性
• 正交化
• 后向稳定性

Key theories

稳定最小二乘法

通过正交分解求解最小二乘法可以避免形成正规方程，因为正规方程的条件数是原始问题的平方，从而在预测变量相关时保持准确性。

条件数与共线性

近乎共线性会增大设计矩阵的条件数，放大舍入误差和估计系数的方差，这直接将数值特性与统计不稳定性联系起来。

Clinical relevance

准确的矩阵计算决定了回归系数、广义最小二乘拟合和协方差矩阵是否可靠；识别病态条件可以解释估计中令人困惑的不稳定性，并指导采取居中、缩放或正则化等补救措施。

History

20世纪中叶，Wilkinson、Golub等人开发了数值稳定的矩阵算法，并逐渐被统计学家采纳。统计学家认识到回归的正规方程方法在数值上是脆弱的，因此采用了正交替代方法。

Key figures

• Gene Golub
• Charles Van Loan
• Kenneth Lange
• James Wilkinson

Seminal works

• golub2013
• lange2010

Frequently asked questions

为什么不鼓励在最小二乘法中使用正规方程？

形成正规方程会使问题的条件数平方，因此当预测变量相关时，舍入误差会被放大。正交分解可以在不损失精度的情况下解决相同的最小二乘问题。

条件数对统计学家有什么意义？

它衡量数据中的微小扰动能多大程度地改变解。大的条件数，通常由共线预测变量引起，警告系数估计在数值和统计上都是不稳定的。