Självövervakad Transformer
En självövervakad Transformer är ett Transformer-nätverk som förtränats med hjälp av automatiskt konstruerade övervakningssignaler – såsom maskerad tokenprediktion eller prediktion av nästa mening – snarare än mänskligt annoterade etiketter. De resulterande representationerna finjusteras eller undersöks sedan på nedströmsuppgifter. BERT, GPT och ViT (Vision Transformer i läge för maskerad bildmodellering) är de mest kända instanserna av detta paradigm.
Läs hela metoden
Logga in med ett kostnadsfritt konto för att läsa avsnittet.
Method map
The neighbourhood of related methods — select a node to explore.
Källor
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
Så citerar du den här sidan
ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/sv/deep-learning/self-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-baserad klassificeringDjupinlärning↔ compare
- Fintrimmad transformatorDjupinlärning↔ compare
- Klassificering baserad på RoBERTaDjupinlärning↔ compare
- Självövervakad faltningsnätverkDjupinlärning↔ compare
- MeningsinbäddningarDjupinlärning↔ compare
Refereras av
Hittade du ett fel på sidan? Rapportera eller föreslå en rättelse →