Transformer semi-supervisat
L'aprenentatge semi-supervisat amb arquitectures Transformer aprofita grans quantitats de dades no etiquetades juntament amb un petit conjunt etiquetat per entrenar potents models de seqüència. El patró dominant —exemplificat per BERT— primer pre-entrena el Transformer amb dades no etiquetades utilitzant objectius auto-supervisats com la predicció de tokens emmascarats, i després el refina (fine-tunes) per a la tasca etiquetada. Aquest enfocament de dues etapes redueix dràsticament les dades etiquetades necessàries per assolir un rendiment sòlid.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Fonts
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Com citar aquesta pàgina
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/ca/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Classificació basada en BERTAprenentatge profund↔ compare
- Transformer afinatAprenentatge profund↔ compare
- Classificació basada en RoBERTaAprenentatge profund↔ compare
- Transformer auto-supervisatAprenentatge profund↔ compare
- Xarxa neuronal convolucional semisupervisadaAprenentatge profund↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →