Logistische Diskriminierung

Die logistische Diskriminierung klassifiziert Beobachtungen, indem sie die posteriore Wahrscheinlichkeit jeder Klasse direkt als logistische Funktion der Merkmale modelliert.

Definition

Die logistische Diskriminierung ist ein Klassifikationsansatz, der die bedingte Wahrscheinlichkeit der Klassenzugehörigkeit unter Berücksichtigung der Merkmale durch eine logistische (oder Softmax-) Verknüpfung modelliert und das Modell mittels Maximum Likelihood anpasst, ohne eine Verteilung für die Merkmale anzunehmen.

Scope

Dieses Thema behandelt binäre und multinomiale logistische Modelle als diskriminative Klassifikatoren, die Maximum-Likelihood-Schätzung ihrer Koeffizienten, die Linearität der resultierenden Log-Odds und Entscheidungsgrenze, den Kontrast zur generativen Diskriminanzanalyse und die Interpretation der Koeffizienten als Log-Odds-Effekte.

Core questions

• Wie können Klassenzugehörigkeitswahrscheinlichkeiten direkt aus Merkmalen modelliert werden?
• Welche Form hat die Entscheidungsgrenze, die durch das logistische Modell impliziert wird?
• Wie unterscheidet sich die logistische Diskriminierung von der Gaußschen Diskriminanzanalyse?
• Wie werden geschätzte Koeffizienten interpretiert?

Key theories

Direkte Modellierung posteriorer Wahrscheinlichkeiten

Die logistische Diskriminierung spezifiziert die Log-Odds der Klassenzugehörigkeit als lineare Funktion der Merkmale und schätzt diese mittels Maximum Likelihood, ohne Annahmen über die Randverteilung der Merkmale zu treffen.

Generativ-diskriminative Korrespondenz

Unter Gaußschen Klassen mit gleicher Kovarianz sind die posterioren Log-Odds exakt linear, sodass logistische Regression und lineare Diskriminanzanalyse dieselbe Grenzform annehmen, diese jedoch unter verschiedenen Annahmen und Likelihoods schätzen.

Clinical relevance

Die logistische Diskriminierung gehört zu den am weitesten verbreiteten Klassifikatoren in der angewandten Forschung, da sie kalibrierte Klassenwahrscheinlichkeiten und interpretierbare Koeffizienten liefert und robust gegenüber Abweichungen von der Merkmalsnormalität ist.

History

Das logistische Modell für binäre Ergebnisse wurde Mitte des 20. Jahrhunderts in der Statistik entwickelt und für die Klassifikation als logistische Diskriminierung adaptiert, wodurch ein diskriminatives Gegenstück zur Tradition der generativen Diskriminanzanalyse geschaffen wurde.

Debates

Diskriminative versus generative Schätzung

Die logistische Diskriminierung optimiert die bedingte Likelihood und ist in der Regel robuster gegenüber einer Fehlspezifikation der Merkmalsverteilung, während die generative Diskriminanzanalyse effizienter sein kann, wenn ihre Gaußschen Annahmen zutreffen.

Key figures

• David Cox
• Geoffrey McLachlan

Seminal works

• hastie2009
• mclachlan1992
• johnson2007

Frequently asked questions

Setzt die logistische Diskriminierung voraus, dass die Merkmale normalverteilt sind?

Nein. Sie modelliert die bedingte Wahrscheinlichkeit der Klasse gegeben die Merkmale und trifft keine Verteilungsannahme über die Merkmale selbst, was ein Grund für ihre Robustheit ist.

Wie wird die logistische Diskriminierung auf mehr als zwei Klassen erweitert?

Durch das multinomiale (Softmax-) logistische Modell, das die Wahrscheinlichkeit jeder Klasse relativ zu einer Basislinie als normalisiertes Exponential linearer Merkmalskombinationen spezifiziert.