二次判別分析

二次判別分析は、多変量ガウス分布に従う群を分類する手法であり、各群が異なる共分散行列を持つことを許容し、曲線的な決定境界を生成します。

Definition

二次判別分析は、各群をそれぞれ独自の共分散行列を持つ多変量正規分布としてモデル化し、これらの密度から導出される二次判別スコアを比較することによって観測値を割り当てる分類手法です。

Scope

このトピックでは、群ごとに異なる共分散行列を持つガウス分類モデル、それによって導かれる二次判別関数、線形判別分析と比較したパラメータのトレードオフ、小標本に対する感度、および線形判別規則と二次判別規則の間を補間する正則化アプローチについて扱います。

Core questions

• 等分散の仮定を緩和すると、決定境界はどのように変化しますか？
• 個別の共分散を許容することによる柔軟性の向上は、いつ分類性能を改善しますか？
• 二次判別分析は、なぜ小標本において過学習しやすいのですか？
• 正則化は共分散推定値をどのように安定させることができますか？

Key theories

不等共分散ガウスモデル

各群がそれぞれ独自の共分散行列を持つ多変量正規分布に従う場合、密度の対数比は特徴量に関して二次関数となるため、群間のベイズ最適境界は二次曲面となります。

線形判別分析とのバイアス-バリアンスのトレードオフ

二次判別分析は、群ごとに個別の共分散を推定するため、共分散が実際に異なる場合にはバイアスを減少させますが、バリアンスを増加させます。そのため、標本が小さい場合には線形判別規則に劣る可能性があります。

Clinical relevance

二次判別分析は、群が平均だけでなく分散においても異なると考えられる場合に適用され、科学および工学分野における分類問題において、線形判別規則よりも柔軟な境界を提供します。

History

二次判別は、共通の共分散行列の仮定が取り除かれた際に、フィッシャーの線形判別分析およびガウス線形判別分析の自然な拡張として登場し、後に高次元データや小標本データを扱うために正則化判別分析によって補完されました。

Debates

線形境界と二次境界

群ごとに異なる共分散を許容することで、真に曲線的な境界を捉えることができますが、推定されるパラメータの数が増加します。したがって、線形判別分析と二次判別分析の選択は、標本サイズに影響されるバイアス-バリアンスの決定となります。

Key figures

• T. W. Anderson

Seminal works

• anderson2003
• hastie2009
• johnson2007

Frequently asked questions

LDAの代わりにQDAを使用すべきなのはどのような場合ですか？

群が実質的に異なる共分散構造を持つように見え、かつ各群の共分散行列を信頼性高く推定できる十分な大きさの標本がある場合に、二次判別分析を使用すべきです。

正則化判別分析とは何ですか？

これは、各群の共分散をプールされた推定値に縮小させる妥協案であり、二次判別分析と線形判別分析の間を滑らかに補間するパラメータを調整します。