Unüberwachtes Lernen
Unüberwachtes Lernen entdeckt Strukturen in unbeschrifteten Daten, findet Gruppierungen, niedrigdimensionale Repräsentationen und latente Faktoren, ohne Zielausgaben zur Imitation zu benötigen.
Definition
Unüberwachtes Lernen ist die Inferenz von Strukturen allein aus Eingaben, ohne zugehörige Zielwerte; Algorithmen suchen nach kompakten Beschreibungen der Daten, wie z. B. Clusterzuweisungen, niedrigdimensionale Koordinaten oder generative latente Variablen, die erklären, wie die beobachteten Daten entstanden sein könnten.
Scope
Dieser Bereich umfasst das Lernen aus Daten ohne Labels: Clustering in Gruppen, Dimensionsreduktion und Manifold Learning, Modelle mit latenten Variablen und Mischmodelle, die mittels des Erwartungs-Maximierungs-Algorithmus angepasst werden, Dichteschätzung sowie modernes selbstüberwachtes und Repräsentationslernen, das Trainingssignale aus den Daten selbst erzeugt.
Sub-topics
Core questions
- Welche Struktur kann aus Daten ohne Labels gewonnen werden?
- Wie werden natürliche Gruppierungen oder Cluster definiert und entdeckt?
- Wie können hochdimensionale Daten durch wenige Koordinaten zusammengefasst werden?
- Wie erklären Modelle mit latenten Variablen Beobachtungen durch verborgene Ursachen?
Key theories
- Modelle mit latenten Variablen und EM
- Viele unüberwachte Modelle postulieren verborgene Variablen, die die Daten generieren, und der Erwartungs-Maximierungs-Algorithmus passt sie an, indem er zwischen der Inferenz der latenten Variablen und der Aktualisierung der Parameter zur Erhöhung der Wahrscheinlichkeit wechselt.
- Dimensionsreduktion
- Methoden wie die Hauptkomponentenanalyse und das Manifold Learning finden niedrigdimensionale Repräsentationen, die die wichtigste Variation bewahren und so Visualisierung, Kompression und Rauschunterdrückung ermöglichen.
- Clustering-Struktur
- Clustering partitioniert Daten in Gruppen ähnlicher Elemente, formalisiert auf verschiedene Weisen durch Distanz innerhalb des Clusters, probabilistische Mischungen oder Dichte, wobei es keine einzelne Definition für die richtige Anzahl oder Form von Clustern gibt.
Clinical relevance
Unüberwachtes Lernen ist unerlässlich, wenn Labels knapp oder nicht vorhanden sind. Es unterstützt die Kundensegmentierung, Anomalieerkennung, explorative Datenanalyse und das Vortraining von Repräsentationen, die moderne überwachte Systeme und Sprachsysteme antreiben. Da es keine Ground-Truth-Ziele gibt, ist die Bewertung unüberwachter Ergebnisse selbst ein subtiles und wichtiges Problem.
History
Unüberwachtes Lernen hat seine Wurzeln im Clustering und der Faktorenanalyse aus der Statistik sowie in selbstorganisierenden neuronalen Netzen. Der 1977 formalisierte Erwartungs-Maximierungs-Algorithmus vereinheitlichte die Anpassung von Modellen mit latenten Variablen, und in den letzten Jahren hat sich das selbstüberwachte Repräsentationslernen zu einem dominanten Paradigma für das Vortraining großer Modelle auf unbeschrifteten Daten entwickelt.
Debates
- Wie man unüberwachte Ergebnisse bewertet
- Ohne Labels gibt es keine einzelne korrekte Antwort, daher stützt sich die Beurteilung von Clusterings oder gelernten Repräsentationen auf indirekte Kriterien, die Leistung bei nachfolgenden Aufgaben oder menschliche Interpretation, und verschiedene Validitätsmaße können zu unterschiedlichen Ergebnissen führen.
Key figures
- Arthur Dempster
- Donald Rubin
- Geoffrey Hinton
- Christopher Bishop
Related topics
Seminal works
- bishop2006
- hastie2009
- dempster1977
Frequently asked questions
- Wie kann ein Modell ohne Labels etwas lernen?
- Unüberwachte Methoden nutzen die bereits in den Daten vorhandene Struktur aus, z. B. welche Punkte nahe beieinander liegen, welche Richtungen die größte Variation aufweisen oder welche latenten Faktoren die Beobachtungen erzeugt haben könnten. Die Eigenheiten der Daten liefern das Signal.
- Warum ist unüberwachtes Lernen schwer zu bewerten?
- Es gibt kein Ground-Truth-Ziel, mit dem verglichen werden könnte. Der Erfolg wird daher indirekt beurteilt, zum Beispiel danach, wie interpretierbar die Cluster sind oder wie gut eine gelernte Repräsentation bei einer späteren überwachten Aufgabe hilft. Verschiedene Kriterien können dasselbe Ergebnis unterschiedlich bewerten.