Pašuzraudzības Transformer
Pašuzraudzības Transformer ir Transformer tīkls, kas iepriekš apmācīts, izmantojot automātiski konstruētus uzraudzības signālus — piemēram, maskēta marķiera prognozēšanu vai nākamās rindkopas prognozēšanu — nevis cilvēka anotētas etiķetes. Iegūtās reprezentācijas pēc tam tiek smalki noregulētas vai izpētītas saistītos uzdevumos. BERT, GPT un ViT (Vision Transformer maskētās attēlu modelēšanas režīmā) ir visplašāk pazīstamās šīs paradigmas realizācijas.
Lasīt pilno metodes aprakstu
Piesakieties ar bezmaksas kontu, lai lasītu šo sadaļu.
Method map
The neighbourhood of related methods — select a node to explore.
Avoti
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
Kā citēt šo lapu
ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/lv/deep-learning/self-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT klasifikācijaDziļā mācīšanās↔ compare
- Precīzi noskaņots transformatorsDziļā mācīšanās↔ compare
- Klasifikācija, kas balstīta uz RoBERTaDziļā mācīšanās↔ compare
- Pašuzraudzīta konvolūciju neironu tīklsDziļā mācīšanās↔ compare
- Ievietojumi teikumiemDziļā mācīšanās↔ compare
Uz to atsaucas
Pamanījāt kļūdu šajā lapā? Ziņojiet vai ierosiniet labojumu →