T5 (Text-to-Text Transfer Transformer)
T5 és un marc unificat d'aprenentatge profund seqüència a seqüència introduït per Raffel et al. a Google Brain el 2020, publicat al Journal of Machine Learning Research (Vol. 21, No. 140). Reformula cada tasca de processament del llenguatge natural (PLN) —classificació, traducció, resum, resposta a preguntes i més— com un problema de text a text: tant l'entrada com la sortida són sempre cadenes de caràcters, la qual cosa permet que un únic Transformer codificador-descodificador sigui pre-entrenat una vegada i ajustat per a diverses tasques amb una interfície consistent. T5 va introduir el pre-entrenament per corrupció d'intervals (span-corruption) i el corpus C4, i la seva variant més gran (11B paràmetres) va aconseguir resultats d'última generació en una àmplia gamma de referències de PLN en el moment de la seva publicació.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
Fonts
- Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140), 1–67. link ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. link ↗
Com citar aquesta pàgina
ScholarGate. (2026, June 3). T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. ScholarGate. https://scholargate.app/ca/deep-learning/t5
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Mecanisme d'atencióAprenentatge profund↔ compare
- Aprenentatge per transferènciaAprenentatge automàtic↔ compare
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →