Selbstüberwachtes und Repräsentationslernen

Selbstüberwachtes und Repräsentationslernen erzeugen nützliche Merkmale aus ungelabelten Daten, indem sie Vorhersageaufgaben aus den Daten selbst entwickeln und Repräsentationen produzieren, die auf viele nachgelagerte Probleme übertragbar sind.

Definition

Selbstüberwachtes Lernen trainiert ein Modell für Aufgaben, deren Labels automatisch aus den Eingaben abgeleitet werden, z. B. das Vorhersagen eines verborgenen Teils der Daten oder das Erkennen von zwei augmentierten Ansichten als dasselbe Element, sodass das Modell allgemeine Repräsentationen lernt, die für spätere überwachte Aufgaben nutzbar sind.

Scope

Dieses Thema behandelt das Lernen von Repräsentationen ohne menschliche Labels: Autoencoder, die Eingaben komprimieren und rekonstruieren, kontrastive Methoden, die verwandte Ansichten zusammenführen und unzusammenhängende trennen, sowie Pretext- oder maskierte Vorhersageaufgaben, die ungelabelte Daten in überwachte Signale umwandeln. Es wird erörtert, warum gute Repräsentationen wichtig sind und wie vortrainierte Merkmale über Aufgaben hinweg übertragen werden können.

Core questions

• Wie können überwachungsähnliche Trainingssignale aus ungelabelten Daten generiert werden?
• Was macht eine gelernte Repräsentation nützlich und übertragbar?
• Wie unterscheiden sich kontrastive und rekonstruktive Ziele?
• Warum hilft das Vortraining auf großen ungelabelten Korpora bei nachgelagerten Aufgaben?

Key theories

Repräsentationslernen

Die Qualität einer gelernten Repräsentation, und nicht die Wahl des Klassifikators, bestimmt oft die Leistung. Daher ist das Lernen von Merkmalen, die die zugrunde liegenden Variationsfaktoren entflechten, ein zentrales Ziel.

Autoencoding und Rekonstruktion

Autoencoder lernen kompakte Codes, indem sie ihre Eingaben durch eine Engstelle rekonstruieren. Varianten wie Denoising-Autoencoder lernen robuste Merkmale, indem sie korrumpierte Eingaben rekonstruieren.

Vortraining und Transfer

Modelle, die auf großen ungelabelten Datensätzen mit selbstüberwachten Zielen vortrainiert wurden, lernen breit nützliche Merkmale, die mit wenig gelabelten Daten auf viele nachgelagerte Aufgaben übertragen werden können – ein zentrales Paradigma moderner Systeme.

Clinical relevance

Das selbstüberwachte Vortraining ist die Grundlage moderner Sprach- und Bildsysteme. Es ermöglicht Modellen, Wissen aus riesigen ungelabelten Korpora aufzunehmen, bevor sie mit begrenzten Labels an spezifische Aufgaben angepasst werden. Es reduziert den Bedarf an gelabelten Daten für eine starke Leistung erheblich und ist ein Hauptgrund für die jüngsten Fortschritte in der künstlichen Intelligenz.

History

Das Repräsentationslernen entwickelte sich aus Autoencodern und dem unüberwachten Vortraining tiefer Netzwerke in den 2000er Jahren. Selbstüberwachte Ziele, einschließlich maskierter Vorhersage in der Sprache und kontrastiven Lernens in der Bildverarbeitung, erwiesen sich später als fähig, leistungsstarke allgemeine Repräsentationen zu lernen, und wurden zum dominierenden Ansatz für das Vortraining großer Modelle.

Key figures

• Yoshua Bengio
• Geoffrey Hinton
• Yann LeCun

Seminal works

• bengio2013
• goodfellow2016
• lecun2015

Frequently asked questions

Wie unterscheidet sich selbstüberwachtes Lernen von unüberwachtem Lernen?

Selbstüberwachtes Lernen ist eine Form des unüberwachten Lernens, bei der das Modell mit einem überwachungsähnlichen Ziel trainiert wird, dessen Targets automatisch aus den Daten generiert werden, z. B. indem ein Teil der Eingabe verborgen und vorhergesagt wird. Es verwendet keine menschlichen Labels, rahmt das Lernen aber dennoch als Vorhersage ein.

Warum ist eine gute Repräsentation so wertvoll?

Sobald Daten in eine Repräsentation kodiert sind, die ihre wesentliche Struktur erfasst, können selbst einfache Modelle gute Leistungen erbringen, und dieselbe Repräsentation kann für viele Aufgaben dienen. Das Lernen solcher übertragbaren Merkmale aus ungelabelten Daten macht das Vortraining so effektiv.