Itsearvioitu Transformer
Itsearvioitu Transformer on Transformer-verkko, joka on esikoulutettu käyttämällä automaattisesti muodostettuja ohjaussignaaleja – kuten maskattujen tokenien ennustamista tai seuraavan lauseen ennustamista – ihmisen annotoimien tunnisteiden sijaan. Tuloksena saadut esitykset hienosäädetään tai tutkitaan sitten jatkotehtävissä. BERT, GPT ja ViT (Vision Transformer maskatun kuvamallinnuksen tilassa) ovat tämän paradigman tunnetuimpia toteutuksia.
Lue koko menetelmä
Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.
Method map
The neighbourhood of related methods — select a node to explore.
Lähteet
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
Näin viittaat tähän sivuun
ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/fi/deep-learning/self-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-pohjainen luokitteluSyväoppiminen↔ compare
- Hienosäädetty TransformerSyväoppiminen↔ compare
- RoBERTa-pohjainen luokitteluSyväoppiminen↔ compare
- Itseohjautuva konvoluutioneuronaaliverkkoSyväoppiminen↔ compare
- LauseupotuksetSyväoppiminen↔ compare
Tähän viittaavat
Huomasitko virheen tällä sivulla? Ilmoita siitä tai ehdota korjausta →