Empilement auto-supervisé

L'empilement auto-supervisé combine la généralisation par empilement — l'architecture d'ensemble classique à deux niveaux introduite par Wolpert (1992) — avec le pré-entraînement auto-supervisé, permettant aux modèles de base d'apprendre des représentations riches à partir de données non étiquetées avant d'être affinés et empilés. Cette stratégie hybride est particulièrement puissante lorsque les exemples étiquetés sont rares mais que les données non étiquetées sont abondantes.