統計学のための数値線形代数

統計学のための数値線形代数とは、回帰分析、多変量解析、共分散推定の基礎となる行列計算が、有限精度においていかに正確かつ効率的に実行されるかを研究する学問分野です。

Definition

統計学のための数値線形代数とは、統計学における線形代数的問題、主として最小二乗法、共分散計算、および推定に現れる線形システムの解法に対して、有限精度行列アルゴリズムを適用し分析することです。

Scope

このトピックでは、最小二乗問題と正規方程式の解法、計画行列の条件数とその統計的影響、安定性のための直交法の利用、大規模または構造化された共分散行列および計画行列の効率的な処理について扱います。これは計算線形代数の統計学への専門化であり、行列分解そのものは関連する別のトピックで扱われます。

Core questions

• 予測変数がほぼ共線的である場合、最小二乗推定値はどのように正確に計算されますか？
• 正規方程式が直交アプローチよりも数値的に劣るのはなぜですか？
• 計画行列の条件数は推定係数にどのように影響しますか？
• 大規模で構造化された統計行列はどのように効率的に計算されますか？

Key concepts

• 正規方程式
• 条件数
• 共線性
• 直交化
• 後方安定性

Key theories

安定した最小二乗法

直交分解を介して最小二乗法を解くことで、正規方程式の形成を回避します。正規方程式の条件数は元の問題の二乗であるため、予測変数が相関している場合に精度が維持されます。

条件数と共線性

ほぼ共線性は計画行列の条件数を膨張させ、丸め誤差と推定係数の分散を増幅させます。これにより、数値的特性が統計的不安定性と直接的に関連付けられます。

Clinical relevance

正確な行列計算は、回帰係数、一般化最小二乗適合、および共分散行列が信頼できるかどうかを決定します。悪条件を認識することは、推定における不可解な不安定性を説明し、センタリング、スケーリング、または正則化などの対処法を導きます。

History

20世紀半ばにウィルキンソン、ゴラブらによって開発された数値的に安定な行列アルゴリズムは、統計学者によって着実に採用されました。統計学者は、回帰分析に対する正規方程式のアプローチが数値的に脆弱であることを認識し、直交的な代替法を採用しました。

Key figures

• Gene Golub
• Charles Van Loan
• Kenneth Lange
• James Wilkinson

Seminal works

• golub2013
• lange2010

Frequently asked questions

最小二乗法で正規方程式が推奨されないのはなぜですか？

正規方程式を形成すると、問題の条件数が二乗されるため、予測変数が相関している場合に丸め誤差が増幅されます。直交分解は、この精度の損失なしに同じ最小二乗問題を解決します。

条件数は統計学者に何を伝えますか？

データにおける小さな摂動が解をどれだけ変化させるかを測定します。大きな条件数、典型的には共線的な予測変数に起因するものは、係数推定値が数値的および統計的に不安定であることを警告します。