Transformer auto-supervisé
Un Transformer auto-supervisé est un réseau Transformer pré-entraîné à l'aide de signaux de supervision construits automatiquement — tels que la prédiction de tokens masqués ou la prédiction de la phrase suivante — plutôt que d'étiquettes annotées par des humains. Les représentations résultantes sont ensuite affinées (ajustement fined) ou sondées (probed) sur des tâches en aval. BERT, GPT et ViT (Vision Transformer en mode de modélisation d'images masquées) sont les instanciations les plus connues de ce paradigme.
Lire la méthode complète
Connectez-vous avec un compte gratuit pour lire cette section.
Method map
The neighbourhood of related methods — select a node to explore.
Sources
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
Comment citer cette page
ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/fr/deep-learning/self-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Classification basée sur BERTApprentissage profond↔ compare
- Transformer affinéApprentissage profond↔ compare
- Classification basée sur RoBERTaApprentissage profond↔ compare
- Réseau de neurones convolutif auto-superviséApprentissage profond↔ compare
- Plongements de phrasesApprentissage profond↔ compare
Référencée par
Une erreur sur cette page ? Signalez-la ou proposez une correction →