En quoi l'apprentissage auto-supervisé diffère-t-il de l'apprentissage non supervisé ?

L'apprentissage auto-supervisé est une forme d'apprentissage non supervisé dans laquelle le modèle est entraîné avec un objectif de type supervisé dont les cibles sont générées automatiquement à partir des données, par exemple en masquant une partie de l'entrée et en la prédisant. Il n'utilise pas d'étiquettes humaines mais formule néanmoins l'apprentissage comme une prédiction.

Pourquoi une bonne représentation est-elle si précieuse ?

Une fois que les données sont encodées dans une représentation qui capture leur structure essentielle, même des modèles simples peuvent bien fonctionner, et la même représentation peut servir à de nombreuses tâches. L'apprentissage de telles caractéristiques transférables à partir de données non étiquetées est ce qui rend le pré-entraînement si efficace.

Apprentissage auto-supervisé et apprentissage de représentations

L'apprentissage auto-supervisé et l'apprentissage de représentations créent des caractéristiques utiles à partir de données non étiquetées en inventant des tâches de prédiction à partir des données elles-mêmes, produisant ainsi des représentations qui se transfèrent à de nombreux problèmes en aval.

Trouver un sujet avec PaperMindBientôtFind papers & topics

Tools & resources

Télécharger les diapositives

Learn & explore

VidéoBientôt

Definition

L'apprentissage auto-supervisé entraîne un modèle sur des tâches dont les étiquettes sont dérivées automatiquement de l'entrée, comme la prédiction d'une partie cachée des données ou la reconnaissance de deux vues augmentées comme étant le même élément, afin que le modèle apprenne des représentations à usage général utilisables pour des tâches supervisées ultérieures.

Scope

Ce sujet couvre l'apprentissage de représentations sans étiquettes humaines : les auto-encodeurs qui compressent et reconstruisent les entrées, les méthodes contrastives qui rapprochent les vues similaires et éloignent les vues non liées, et les tâches de prétexte ou de prédiction masquée qui transforment les données non étiquetées en signaux supervisés. Il aborde l'importance des bonnes représentations et la manière dont les caractéristiques pré-entraînées se transfèrent entre les tâches.

Core questions

Comment des signaux d'entraînement de type supervisé peuvent-ils être générés à partir de données non étiquetées ?
Qu'est-ce qui rend une représentation apprise utile et transférable ?
En quoi les objectifs contrastifs et reconstructifs diffèrent-ils ?
Pourquoi le pré-entraînement sur de grands corpus non étiquetés aide-t-il les tâches en aval ?

Key theories

Apprentissage de représentations: La qualité d'une représentation apprise, plutôt que le choix du classifieur, détermine souvent les performances ; ainsi, l'apprentissage de caractéristiques qui démêlent les facteurs de variation sous-jacents est un objectif central.
Auto-encodage et reconstruction: Les auto-encodeurs apprennent des codes compacts en reconstruisant leurs entrées à travers un goulot d'étranglement, et des variantes telles que les auto-encodeurs dénoiseurs apprennent des caractéristiques robustes en reconstruisant des entrées corrompues.
Pré-entraînement et transfert: Les modèles pré-entraînés sur de grands ensembles de données non étiquetées avec des objectifs auto-supervisés apprennent des caractéristiques largement utiles qui se transfèrent à de nombreuses tâches en aval avec peu de données étiquetées, un paradigme central des systèmes modernes.

Clinical relevance

Le pré-entraînement auto-supervisé constitue le fondement des systèmes modernes de langage et de vision, permettant aux modèles d'absorber des connaissances à partir de vastes corpus non étiquetés avant d'être adaptés à des tâches spécifiques avec des étiquettes limitées ; il réduit considérablement la quantité de données étiquetées nécessaires pour obtenir de bonnes performances et est une raison majeure des avancées récentes en intelligence artificielle.

History

L'apprentissage de représentations s'est développé à partir des auto-encodeurs et du pré-entraînement non supervisé des réseaux profonds dans les années 2000. Les objectifs auto-supervisés, y compris la prédiction masquée en langage et l'apprentissage contrastif en vision, se sont par la suite avérés capables d'apprendre de puissantes représentations à usage général, devenant ainsi l'approche dominante pour le pré-entraînement des grands modèles.

Key figures

Yoshua Bengio
Geoffrey Hinton
Yann LeCun

Seminal works

bengio2013
goodfellow2016
lecun2015

Frequently asked questions

En quoi l'apprentissage auto-supervisé diffère-t-il de l'apprentissage non supervisé ?: L'apprentissage auto-supervisé est une forme d'apprentissage non supervisé dans laquelle le modèle est entraîné avec un objectif de type supervisé dont les cibles sont générées automatiquement à partir des données, par exemple en masquant une partie de l'entrée et en la prédisant. Il n'utilise pas d'étiquettes humaines mais formule néanmoins l'apprentissage comme une prédiction.
Pourquoi une bonne représentation est-elle si précieuse ?: Une fois que les données sont encodées dans une représentation qui capture leur structure essentielle, même des modèles simples peuvent bien fonctionner, et la même représentation peut servir à de nombreuses tâches. L'apprentissage de telles caractéristiques transférables à partir de données non étiquetées est ce qui rend le pré-entraînement si efficace.