Zelf-gesuperviseerde Transformer
Een zelf-gesuperviseerde Transformer is een Transformer-netwerk dat is voorgeladen met behulp van automatisch geconstrueerde supervisiesignalen – zoals het voorspellen van gemaskeerde tokens of het voorspellen van de volgende zin – in plaats van door mensen geannoteerde labels. De resulterende representaties worden vervolgens gefinetuned of onderzocht op downstreamtaken. BERT, GPT en ViT (Vision Transformer in de modus voor gemaskeerde beeldmodellering) zijn de bekendste instantiaties van dit paradigma.
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Method map
The neighbourhood of related methods — select a node to explore.
Bronnen
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
Deze pagina citeren
ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/nl/deep-learning/self-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-gebaseerde ClassificatieDeep learning↔ compare
- Gefinetunede TransformerDeep learning↔ compare
- RoBERTa-gebaseerde ClassificatieDeep learning↔ compare
- Zelf-gesuperviseerd convolutie neuraal netwerkDeep learning↔ compare
- Sentence EmbeddingsDeep learning↔ compare
Geciteerd door
Een fout op deze pagina gezien? Meld het of stel een correctie voor →