Überwachtes Lernen

Überwachtes Lernen erstellt prädiktive Modelle aus Beispielen, die mit bekannten Zielwerten gepaart sind, und lernt eine Abbildung von Eingaben zu Ausgaben, die auf ungesehene Fälle verallgemeinert werden kann.

Definition

Überwachtes Lernen ist die Aufgabe, eine Funktion aus einem Trainingsdatensatz von Eingabe-Ausgabe-Paaren abzuleiten, sodass die Funktion die Ausgabe für neue Eingaben vorhersagt; der Lernalgorithmus wählt die Funktion, um ein Fehlermass auf den Trainingsdaten zu minimieren, während die Komplexität kontrolliert wird, um Überanpassung zu vermeiden.

Scope

Dieser Bereich umfasst das Lernen aus gelabelten Daten, einschließlich Klassifikation und Regression, die Formulierung des Lernens als empirische Risikominimierung mit einer Verlustfunktion, den Bias-Varianz-Kompromiss, die Generalisierung auf neue Eingaben und die wichtigsten Modellfamilien: lineare und verallgemeinerte lineare Modelle, Nächste-Nachbarn- und Kernel-Methoden, Support Vector Machines, Entscheidungsbäume und Ensemble-Methoden wie Bagging und Boosting.

Sub-topics

• Klassifikationsalgorithmen
• Ensemble-Methoden
• Regression und Funktionsapproximation
• Support Vector Machines und Kernel-Methoden

Core questions

• Wie kann ein Modell an gelabelte Beispiele angepasst werden, damit es auf ungesehenen Daten gut vorhersagt?
• Welche Verlustfunktionen und Risikomasse formalisieren das Ziel einer genauen Vorhersage?
• Wie beeinflusst die Modellkomplexität den Kompromiss zwischen Bias und Varianz?
• Welche Modellfamilien eignen sich für Klassifikations- im Vergleich zu Regressionsproblemen?

Key theories

Empirische Risikominimierung

Lernen wird als die Wahl einer Funktion verstanden, die den durchschnittlichen Verlust auf der Trainingsstichprobe minimiert, als Ersatz für die Minimierung des erwarteten Verlusts auf der zugrunde liegenden Verteilung, wobei Regularisierung hinzugefügt wird, um die Lücke zwischen beiden zu kontrollieren.

Bias-Varianz-Zerlegung

Der erwartete Vorhersagefehler zerfällt in quadrierten Bias, Varianz und irreduzibles Rauschen, was erklärt, warum übermässig einfache Modelle unteranpassen und übermässig flexible Modelle überanpassen, und die Komplexitätskontrolle motiviert.

Margin-basiertes und Ensemble-Lernen

Die Maximierung einer Trennmarge (Support Vector Machines) und die Kombination vieler schwacher oder randomisierter Lerner (Bagging, Boosting, Random Forests) ergeben Klassifikatoren, die oft besser generalisieren als einzelne unregularisierte Modelle.

Clinical relevance

Überwachtes Lernen ist die Grundlage der meisten eingesetzten prädiktiven Systeme, von Spamfiltern, Kreditwürdigkeitsprüfung und medizinischer Diagnoseunterstützung bis hin zur Bild- und Spracherkennung; seine zentrale Herausforderung ist die Generalisierung, die Sicherstellung, dass ein Modell, das historische Beispiele anpasst, auch auf zukünftigen Daten funktioniert, weshalb Methoden zur Schätzung und Kontrolle des Generalisierungsfehlers von zentraler Bedeutung für das Feld sind.

History

Überwachtes Lernen entwickelte sich aus der statistischen Regression und Diskriminanzanalyse sowie aus frühen Arbeiten zur Mustererkennung wie dem Perzeptron und den Nächste-Nachbarn-Regeln. Die 1990er Jahre brachten Support Vector Machines und eine rigorose statistische Lerntheorie; im selben Jahrzehnt und im folgenden wurden Entscheidungsbaum-Ensembles wie Bagging, Boosting und Random Forests zu dominanten Werkzeugen für die tabellarische Vorhersage.

Debates

Interpretierbarkeit versus Vorhersagegenauigkeit

Hochpräzise Modelle wie grosse Ensembles und tiefe Netzwerke sind oft undurchsichtig, was die Debatte darüber aufwirft, wann interpretierbare Modelle vorzuziehen sind, insbesondere bei Entscheidungen mit hohen Einsätzen.

Key figures

• Vladimir Vapnik
• Leo Breiman
• Trevor Hastie
• Robert Tibshirani

Seminal works

• bishop2006
• hastie2009
• cortes1995
• breiman2001

Frequently asked questions

Was unterscheidet überwachtes von unüberwachtem Lernen?

Überwachtes Lernen verwendet Beispiele mit bekannten Zielbezeichnungen oder -werten und lernt, diese Ziele für neue Eingaben vorherzusagen. Unüberwachtes Lernen arbeitet mit ungelabelten Daten und entdeckt stattdessen Strukturen wie Cluster oder niedrigdimensionale Repräsentationen.

Warum ist Generalisierung das zentrale Anliegen?

Ein Modell kann immer so angepasst werden, dass es Trainingsdaten perfekt abbildet, aber das kann Rauschen statt Signal erfassen. Das eigentliche Ziel ist die Genauigkeit auf ungesehenen Daten, daher sind Methoden zur Schätzung und Kontrolle der Lücke zwischen Trainings- und Testfehler, wie Regularisierung und Kreuzvalidierung, unerlässlich.