Transformer auto-supervisat
Un Transformer auto-supervisat és una xarxa Transformer preentrenada utilitzant senyals de supervisió construïts automàticament — com ara la predicció de tokens emmascarats o la predicció de la frase següent — en lloc d'etiquetes anotades per humans. Les representacions resultants es refinen o s'analitzen posteriorment en tasques posteriors. BERT, GPT i ViT (Vision Transformer en mode de modelatge d'imatges emmascarades) són les instanciacions més conegudes d'aquest paradigma.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
Fonts
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
Com citar aquesta pàgina
ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/ca/deep-learning/self-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Classificació basada en BERTAprenentatge profund↔ compare
- Transformer afinatAprenentatge profund↔ compare
- Classificació basada en RoBERTaAprenentatge profund↔ compare
- Xarxa Convolucional Neuronal d'Auto-SupervisióAprenentatge profund↔ compare
- Sentence EmbeddingsAprenentatge profund↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →