Klassifikationsalgorithmen

Klassifikationsalgorithmen ordnen Eingaben einer endlichen Menge von Kategorien zu, indem sie Entscheidungsgrenzen oder Klassenzuordnungswahrscheinlichkeiten aus gelabelten Beispielen lernen.

Definition

Ein Klassifikationsalgorithmus lernt aus Eingabe-Label-Paaren eine Regel, die jede neue Eingabe einer diskreten Klasse zuordnet; generative Ansätze modellieren die Verteilung der Eingaben innerhalb jeder Klasse und wenden die Bayes-Regel an, während diskriminative Ansätze die Klassengrenze oder die posteriore Wahrscheinlichkeit direkt modellieren.

Scope

Dieses Thema behandelt die überwachte Aufgabe der Vorhersage kategorialer Labels: probabilistische generative Klassifikatoren wie naive Bayes und Gaußsche Diskriminanzanalyse, diskriminative Klassifikatoren wie die logistische Regression, instanzbasierte Methoden wie k-nächste Nachbarn und die Konzepte der Entscheidungsgrenze, der posterioren Klassenwahrscheinlichkeit und des Bayes-optimalen Klassifikators, der den Fehler minimiert.

Core questions

• Wie wird eine Entscheidungsgrenze zwischen Klassen aus gelabelten Daten geschätzt?
• Wann sollte ein Klassifikator klassenbedingte Verteilungen im Vergleich zur posterioren Wahrscheinlichkeit direkt modellieren?
• Was ist der Bayes-optimale Fehler und wie nahe kann ein gelernter Klassifikator diesem kommen?
• Wie werden Mehrklassenprobleme auf die binäre Klassifikation reduziert oder parallel dazu gelöst?

Key theories

Bayes-optimale Klassifikation

Die Zuordnung jeder Eingabe zur Klasse mit der höchsten posterioren Wahrscheinlichkeit minimiert den erwarteten Fehlklassifikationsfehler und definiert das theoretische Optimum, das praktische Klassifikatoren annähern.

Generative versus diskriminative Modelle

Naive Bayes und die Diskriminanzanalyse modellieren, wie Daten pro Klasse generiert werden, während die logistische Regression die Klassenposteriorität direkt modelliert, eine Unterscheidung, die die Dateneffizienz und die Robustheit gegenüber Modellfehlspezifikationen beeinflusst.

Nächste-Nachbarn-Klassifikation

Die Klassifizierung nach den Labels benachbarter Trainingspunkte ist eine einfache nichtparametrische Regel, deren Fehler asymptotisch durch höchstens das Doppelte des Bayes-Fehlers begrenzt ist, was zeigt, wie allein lokale Informationen leistungsfähig sein können.

Clinical relevance

Die Klassifikation ist das Kernstück des angewandten maschinellen Lernens und findet Anwendung bei der Erkennung von E-Mail-Spam, der Sentimentanalyse, der Bildbeschriftung, der Betrugserkennung und der computergestützten Diagnose; das Verständnis des Bayes-Optimums und der generativ-diskriminativen Unterscheidung leitet die Wahl der Methode und die Interpretation der Klassenzuordnungswahrscheinlichkeiten.

History

Frühe Klassifikatoren umfassten Fishers lineare Diskriminante und die von Cover und Hart 1967 analysierte Nächste-Nachbarn-Regel. Die logistische Regression wanderte von der Statistik in das maschinelle Lernen, und naive Bayes sowie die Diskriminanzanalyse wurden zu Standard-Probabilistischen Baselines, die später alle im Rahmen der Schätzung posteriorer Klassenwahrscheinlichkeiten vereinheitlicht wurden.

Key figures

• Thomas Cover
• Peter Hart
• Christopher Bishop

Seminal works

• cover1967
• bishop2006
• hastie2009

Frequently asked questions

Ist die logistische Regression eine Regressions- oder eine Klassifikationsmethode?

Trotz ihres Namens wird die logistische Regression zur Klassifikation verwendet. Sie modelliert die Wahrscheinlichkeit, dass eine Eingabe zu einer Klasse gehört, und eine Entscheidungsregel wandelt diese Wahrscheinlichkeit dann in ein vorhergesagtes Label um.

Warum benötigt k-nächste Nachbarn keine Trainingsphase?

k-nächste Nachbarn speichert die Trainingsdaten und klassifiziert einen neuen Punkt, indem es zur Vorhersagezeit seine nächstgelegenen gespeicherten Beispiele nachschlägt. Es gibt kein explizit angepasstes Modell, was das Training trivial, aber die Vorhersage potenziell langsam und speicherintensiv macht.