Support Vector Classification

Die Support Vector Classification trennt Klassen durch die Hyperebene, die den Abstand zu den nächsten Trainingspunkten maximiert, erweitert auf nichtlineare Grenzen durch Kerne.

Definition

Die Support Vector Classification ist eine margin-basierte Methode, die die Entscheidungsgrenze wählt, welche den Abstand zu den nächsten Trainingsbeispielen jeder Klasse maximiert, optional in einem Kernel-induzierten Merkmalsraum, wobei die Breite des Margins gegen Klassifikationsfehler abgewogen wird.

Scope

Dieses Thema behandelt die Maximum-Margin-Hyperebene, die Rolle von Stützvektoren (Support Vectors), die Soft-Margin-Formulierung mit Slack-Variablen für nicht trennbare Daten, das duale Optimierungsproblem und den Kernel-Trick, der Merkmale implizit in einen höherdimensionalen Raum abbildet, um nichtlineare Entscheidungsgrenzen zu erhalten.

Core questions

• Welche der trennenden Grenzen generalisiert am besten?
• Wie werden nicht trennbare Klassen behandelt?
• Wie erzeugt der Kernel-Trick nichtlineare Grenzen ohne explizite Merkmalsabbildungen?
• Welche Trainingspunkte bestimmen die Grenze?

Key theories

Maximum-Margin-Trennung

Die Wahl der trennenden Hyperebene, die den Abstand zu den nächsten Punkten maximiert, führt zu einer Grenze, die durch einen spärlichen Satz von Stützvektoren bestimmt wird und durch Generalisierungs-Grenzen aus der statistischen Lerntheorie motiviert ist.

Kernel-Trick

Da die Optimierung nur über die inneren Produkte von den Daten abhängt, entspricht deren Ersetzung durch eine Kernel-Funktion einer Maximum-Margin-Grenze in einem höherdimensionalen Merkmalsraum, was nichtlineare Klassifikatoren zu linearen Kosten ermöglicht.

Clinical relevance

Support Vector Machines werden häufig für hochdimensionale Klassifikationen wie Textkategorisierung, Bioinformatik und Bilderkennung eingesetzt, wo das Margin-Prinzip und Kerne viele Merkmale und komplexe Grenzen effektiv handhaben.

History

Die Support Vector Classification entwickelte sich aus der statistischen Lerntheorie und wurde 1995 in der Support-Vector-Networks-Formulierung von Cortes und Vapnik kristallisiert, wonach Kernel-Methoden zu einem zentralen Paradigma im maschinellen Lernen wurden.

Debates

Wahl des Kernels und der Regularisierung

Die Leistung hängt stark vom Kernel und vom Regularisierungsparameter ab, der die Weichheit des Margins steuert; diese müssen abgestimmt werden, und es gibt keine universell beste Wahl.

Key figures

• Vladimir Vapnik
• Corinna Cortes

Seminal works

• cortes1995
• hastie2009
• vapnik1998

Frequently asked questions

Was sind Stützvektoren?

Es sind die Trainingspunkte, die auf oder innerhalb des Margins liegen und die Position der Entscheidungsgrenze bestimmen; die Lösung hängt nur von diesen Punkten ab.

Warum einen Soft Margin verwenden?

Reale Daten sind selten perfekt trennbar, daher erlaubt die Soft-Margin-Formulierung, dass einige Punkte den Margin verletzen, im Austausch für eine breitere, robustere Grenze, die durch einen Regularisierungsparameter gesteuert wird.