線形判別分析

線形判別分析は、特徴量の線形結合を用いて事前に定義されたグループを分離する手法であり、グループが共通の共分散行列を持つガウス分布に従う場合に最適であるとされます。

Definition

線形判別分析は、共通の共分散行列の下で、マハラノビス距離において平均が最も近いグループに観測値を割り当てる分類手法であり、グループ間に線形の境界を生成します。

Scope

このトピックでは、群内変動に対する群間変動を最大化するフィッシャーの基準、線形決定境界をもたらす等しい共分散を持つ等価なガウスモデル、プールされた共分散行列の役割、判別座標を介した多グループ判別、およびマハラノビス距離との関連について扱います。

Core questions

• 特徴量のどのような線形結合がグループを最もよく分離するのでしょうか？
• どのような仮定の下で線形規則は最適となるのでしょうか？
• プールされた群内共分散は判別関数にどのように組み込まれるのでしょうか？
• 複数のグループはどのように同時に扱われるのでしょうか？

Key theories

分離の最大化

フィッシャーの判別は、群間変動と群内変動の比率を最大化する投影方向を選択し、特徴量の最も分離性の高い線形結合を与えます。

等共分散ガウスモデル

グループが共通の共分散行列を持つ多変量正規分布に従う場合、クラス密度の対数比は特徴量に対して線形であるため、ベイズ分類器はグループ平均へのマハラノビス距離に基づく線形判別器に帰着します。

Clinical relevance

線形判別分析は、診断、顔認識、ケモメトリックスなどで使用される、既知のグループを最もよく分離する方向にデータを投影する、シンプルで解釈可能なベースライン分類器および次元削減ツールとして依然として重要です。

History

フィッシャーは1936年にアヤメの花の測定値を用いて線形判別を導入し、それを分離問題として定式化しました。その後、等しい共分散を持つガウス分布の集団に対するベイズの規則との等価性が確立され、幾何学的視点と確率的視点が結びつけられました。

Debates

等共分散仮定のロバスト性

線形判別分析は、グループ間で共通の共分散を仮定します。この仮定が成り立たない場合、二次判別分析や正則化されたバリアントの方が優れた性能を示す可能性がありますが、線形規則はしばしば小規模なサンプルにおいてより安定している傾向があります。

Key figures

• Ronald A. Fisher
• P. C. Mahalanobis

Seminal works

• fisher1936
• anderson2003
• hastie2009

Frequently asked questions

ロジスティック回帰と比較して、線形判別分析が好まれるのはどのような場合ですか？

ガウス分布の等共分散仮定が十分に成り立つ場合、特にサンプルサイズが小さい場合やクラスが明確に分離されている場合、LDAはより効率的である可能性があります。これらの仮定が疑わしい場合は、ロジスティック回帰の方がロバストであるとされます。

LDAは次元削減に利用できますか？

はい、可能です。複数のグループがある場合、グループ間の分離を最大化する低次元部分空間を張る判別座標を生成し、これを可視化に利用することができます。