Quadratische Diskriminanzanalyse

Die quadratische Diskriminanzanalyse klassifiziert Beobachtungen unter multivariaten Gaußschen Gruppen, denen unterschiedliche Kovarianzmatrizen zugewiesen werden können, wodurch gekrümmte Entscheidungsgrenzen entstehen.

Definition

Die quadratische Diskriminanzanalyse ist eine Klassifikationsmethode, die jede Gruppe als multivariat normal mit einer eigenen Kovarianzmatrix modelliert und Beobachtungen durch den Vergleich quadratischer Diskriminanzwerte, die aus diesen Dichten abgeleitet werden, zuordnet.

Scope

Dieses Thema behandelt das Gaußsche Klassifikationsmodell mit gruppenspezifischen Kovarianzmatrizen, die daraus resultierenden quadratischen Diskriminanzfunktionen, den Kompromiss bei den Parametern im Vergleich zur linearen Diskriminanzanalyse, die Empfindlichkeit gegenüber kleinen Stichproben und regularisierte Ansätze, die zwischen der linearen und der quadratischen Regel interpolieren.

Core questions

• Wie verändert die Lockerung der Annahme gleicher Kovarianzen die Entscheidungsgrenze?
• Wann verbessert die zusätzliche Flexibilität separater Kovarianzen die Klassifikation?
• Warum ist die quadratische Diskriminanzanalyse anfälliger für Overfitting bei kleinen Stichproben?
• Wie kann Regularisierung die Kovarianzschätzungen stabilisieren?

Key theories

Gaußsches Modell mit ungleichen Kovarianzen

Wenn jede Gruppe multivariat normal mit ihrer eigenen Kovarianzmatrix ist, ist das Log-Verhältnis der Dichten quadratisch in den Merkmalen, sodass die Bayes-optimale Grenze zwischen den Gruppen eine quadratische Oberfläche ist.

Bias-Varianz-Kompromiss bei der linearen Diskriminanzanalyse

Die quadratische Diskriminanzanalyse schätzt eine separate Kovarianz pro Gruppe, was den Bias reduziert, wenn die Kovarianzen tatsächlich unterschiedlich sind, aber die Varianz erhöht, sodass sie bei kleinen Stichproben von der linearen Regel übertroffen werden kann.

Clinical relevance

Die quadratische Diskriminanzanalyse wird angewendet, wenn Gruppen plausibel sowohl in ihrer Streuung als auch in ihren Mittelwerten voneinander abweichen, und bietet flexiblere Grenzen als die lineare Regel bei Klassifikationsproblemen in Wissenschaft und Technik.

History

Die quadratische Diskriminanzanalyse entstand als natürliche Erweiterung von Fishers und der Gaußschen linearen Diskriminanzanalyse, sobald die Annahme einer gemeinsamen Kovarianzmatrix aufgegeben wurde, und wurde später durch die regularisierte Diskriminanzanalyse ergänzt, um hochdimensionale Daten und Daten mit kleinen Stichproben zu verarbeiten.

Debates

Lineare versus quadratische Grenzen

Das Zulassen gruppenspezifischer Kovarianzen kann tatsächlich gekrümmte Grenzen erfassen, vervielfacht jedoch die Anzahl der geschätzten Parameter, sodass die Wahl zwischen linearer und quadratischer Diskriminanzanalyse eine Bias-Varianz-Entscheidung ist, die von der Stichprobengröße abhängt.

Key figures

• T. W. Anderson

Seminal works

• anderson2003
• hastie2009
• johnson2007

Frequently asked questions

Wann sollte ich QDA anstelle von LDA verwenden?

Verwenden Sie die quadratische Diskriminanzanalyse, wenn die Gruppen wesentlich unterschiedliche Kovarianzstrukturen aufweisen und die Stichprobe groß genug ist, um eine separate Kovarianzmatrix pro Gruppe zuverlässig zu schätzen.

Was ist eine regularisierte Diskriminanzanalyse?

Es ist ein Kompromiss, der jede Gruppenkovarianz in Richtung einer gepoolten Schätzung schrumpft, wobei ein Parameter abgestimmt wird, der sanft zwischen quadratischer und linearer Diskriminanzanalyse interpoliert.