Lineare Diskriminanzanalyse

Die lineare Diskriminanzanalyse trennt vordefinierte Gruppen mithilfe einer linearen Merkmalskombination, optimal wenn die Gruppen Gauß-verteilt sind und eine gemeinsame Kovarianzmatrix aufweisen.

Definition

Die lineare Diskriminanzanalyse ist eine Klassifizierungsmethode, die eine Beobachtung der Gruppe zuordnet, deren Mittelwert unter einer gemeinsamen Kovarianzmatrix in Mahalanobis-Distanz am nächsten liegt, wodurch lineare Grenzen zwischen den Gruppen entstehen.

Scope

Dieses Thema behandelt Fishers Kriterium zur Maximierung der Zwischengruppen- im Verhältnis zur Innerhalbgruppenvarianz, das äquivalente Gaußsche Modell mit gleichen Kovarianzen, das lineare Entscheidungsgrenzen ergibt, die Rolle der gepoolten Kovarianzmatrix, die Mehrgruppen-Diskriminierung mittels Diskriminanzkoordinaten und die Verbindung zur Mahalanobis-Distanz.

Core questions

• Welche lineare Merkmalskombination trennt die Gruppen am besten?
• Unter welchen Annahmen ist die lineare Regel optimal?
• Wie fließt die gepoolte Innerhalbgruppen-Kovarianz in die Diskriminanzfunktion ein?
• Wie werden mehrere Gruppen gleichzeitig behandelt?

Key theories

Maximierung der Trennung

Fishers Diskriminanz wählt die Projektionsrichtung, die das Verhältnis von Zwischengruppen- zu Innerhalbgruppenvarianz maximiert, wodurch die am stärksten trennende lineare Kombination der Merkmale entsteht.

Gaußsches Modell mit gleicher Kovarianz

Wenn Gruppen multivariat normalverteilt sind und eine gemeinsame Kovarianzmatrix aufweisen, ist das Log-Verhältnis der Klassendichten linear in den Merkmalen, sodass der Bayes-Klassifikator auf die lineare Diskriminanz basierend auf der Mahalanobis-Distanz zu den Gruppenmittelwerten reduziert wird.

Clinical relevance

Die lineare Diskriminanzanalyse bleibt ein einfacher und interpretierbarer Basis-Klassifikator und ein Werkzeug zur Dimensionsreduktion, das Daten auf die Richtungen projiziert, die bekannte Gruppen am besten trennen, und wird in der Diagnostik, Gesichtserkennung und Chemometrie eingesetzt.

History

Fisher führte die lineare Diskriminanz 1936 anhand von Messungen an Irisblüten ein und formulierte sie als Trennungsproblem. Ihre Äquivalenz zur Bayes-Regel für Gaußsche Populationen mit gleicher Kovarianz wurde später etabliert, wodurch die geometrische und die probabilistische Sichtweise miteinander verbunden wurden.

Debates

Robustheit der Annahme gleicher Kovarianz

Die lineare Diskriminanzanalyse setzt eine gemeinsame Kovarianz über alle Gruppen hinweg voraus; wenn dies nicht zutrifft, können die quadratische Diskriminanzanalyse oder regularisierte Varianten bessere Ergebnisse liefern, obwohl die lineare Regel bei kleinen Stichproben oft stabiler ist.

Key figures

• Ronald A. Fisher
• P. C. Mahalanobis

Seminal works

• fisher1936
• anderson2003
• hastie2009

Frequently asked questions

Wann wird die lineare Diskriminanzanalyse der logistischen Regression vorgezogen?

Wenn die Gaußsche Annahme gleicher Kovarianz hinreichend gut erfüllt ist, insbesondere bei kleinen Stichproben oder gut getrennten Klassen, kann die LDA effizienter sein; die logistische Regression ist robuster, wenn diese Annahmen zweifelhaft sind.

Kann die LDA die Dimensionalität reduzieren?

Ja. Bei mehreren Gruppen erzeugt sie Diskriminanzkoordinaten, die einen niedrigdimensionalen Unterraum aufspannen, der die Gruppentrennung maximiert und zur Visualisierung verwendet werden kann.