統計学における行列分解

行列分解は、行列をより単純な構造の因子に分解する手法であり、統計学においては、回帰、共分散モデリング、次元削減の背後にある安定かつ効率的なメカニズムを提供します。

Definition

統計学における行列分解とは、計画行列、共分散行列、および関連する行列を、三角形、直交、対角因子などの構造化された成分に分解することで、統計的計算を数値的に安定かつ効率的に行う手法です。

Scope

このトピックでは、共分散行列および精度行列に対するコレスキー分解、最小二乗法に対するQR分解、特異値分解とその主成分分析およびランク落ち問題における統計的利用、そして対称共分散行列の固有値分解について扱います。各分解が統計的計算にどのように役立つかに焦点を当てます。

Core questions

• コレスキー分解は共分散計算と精度計算をどのようにサポートしますか？
• QR分解が最小二乗推定への安定した経路であるのはなぜですか？
• 特異値分解は主成分分析をどのように支え、ランク落ちにどのように対処しますか？
• 共分散行列の固有値分解は、その構造をどのように明らかにしますか？

Key concepts

• コレスキー分解
• QR分解
• 特異値分解
• 固有値分解
• 正定値性
• ランク落ち

Key theories

三角分解と直交分解

正定値共分散行列のコレスキー分解と計画行列のQR分解は、統計的推定の中心となる線形システムと最小二乗問題に対して、安定かつ効率的な解を提供します。

スペクトル分解と特異値分解

共分散行列の固有値分解とデータ行列の特異値分解は、主成分の方向とランクを明らかにし、主成分分析や、多重共線性またはランク落ちの問題の処理の基礎となります。

Clinical relevance

行列分解は、共分散サンプリング、一般化最小二乗法、主成分分析、リッジ回帰を実用的かつ安定なものにします。例えば、コレスキー因子は、相関のある正規変数をシミュレートしたり、多変量正規尤度を効率的に評価したりするために使用されます。

History

数値線形代数で発展した古典的な分解、特にQR分解と特異値分解は、20世紀後半を通じて、回帰、多変量解析、次元削減のための安定した基盤として統計学者に採用されました。

Key figures

• Gene Golub
• Charles Van Loan
• André-Louis Cholesky
• Carl Eckart

Seminal works

• golub2013
• monahan2011

Frequently asked questions

コレスキー分解が統計学でこれほど一般的に用いられるのはなぜですか？

共分散行列と精度行列は対称正定値であり、これはコレスキー分解がまさに利用する構造です。これにより、システムの解法、多変量正規密度の評価、相関変数のシミュレーションを効率的に行うことができます。

特異値分解は主成分分析にどのような役割を果たしますか？

中心化されたデータ行列に特異値分解を適用すると、主成分とそれぞれが説明する分散が直接得られます。これは数値的に安定した方法であり、ランク落ちしたデータや多重共線性のデータにも適切に対処できます。