Transformeur semi-supervisé

L'apprentissage semi-supervisé avec des architectures Transformer exploite de grandes quantités de données non étiquetées aux côtés d'un petit ensemble étiqueté pour entraîner de puissants modèles de séquences. Le schéma dominant — exemplifié par BERT — pré-entraîne d'abord le Transformer sur des données non étiquetées en utilisant des objectifs auto-supervisés tels que la prédiction de jetons masqués, puis l'affine sur la tâche étiquetée. Cette approche en deux étapes réduit considérablement la quantité de données étiquetées nécessaires pour obtenir de solides performances.