Isejuhendatud Transformer
Isejuhendatud Transformer on Transformer-võrk, mis on eelkoolitatud kasutades automaatselt konstrueeritud juhendamissignaale – näiteks maskeeritud tokenite ennustamine või järgmise lause ennustamine – pigem kui inimeste poolt märgistatud andmeid. Saadud esitusi seejärel peenhäälestatakse või uuritakse järgnevate ülesannete jaoks. BERT, GPT ja ViT (Vision Transformer maskeeritud pildi modelleerimise režiimis) on selle paradigma tuntuimad näited.
Loe meetodi täielikku kirjeldust
Selle osa lugemiseks logi sisse tasuta kontoga.
Method map
The neighbourhood of related methods — select a node to explore.
Allikad
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
Kuidas sellele lehele viidata
ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/et/deep-learning/self-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-põhine klassifitseerimineSüvaõpe↔ compare
- Fine-Tuned TransformerSüvaõpe↔ compare
- RoBERTa-põhine klassifitseerimineSüvaõpe↔ compare
- Eneseteadlik konvolutsiooniline närvivõrkSüvaõpe↔ compare
- Sentence EmbeddingsSüvaõpe↔ compare
Sellele viitavad
Märkasid sellel lehel viga? Teata sellest või paku parandust →