Apprentissage par transfert auto-supervisé

L'apprentissage par transfert auto-supervisé combine deux paradigmes puissants : un modèle apprend d'abord des représentations riches à partir de données non étiquetées à l'aide de tâches prétextes auto-supervisées, puis ces représentations apprises sont transférées et affinées sur une tâche aval avec des données étiquetées limitées. Cette approche sous-tend des systèmes de référence tels que BERT en NLP et SimCLR et DINO en vision par ordinateur, réduisant considérablement les besoins en données étiquetées dans de nombreux domaines.