T5 (Text-to-Text Transfer Transformer)
T5 je objedinjeni "sequence-to-sequence" okvir dubokog učenja koji su predstavili Raffel i suradnici iz Google Braina 2020. godine, objavljen u časopisu Journal of Machine Learning Research (Vol. 21, No. 140). On preoblikuje svaki zadatak obrade prirodnog jezika (NLP) — klasifikaciju, prevođenje, sažimanje, odgovaranje na pitanja i drugo — u problem "tekst-u-tekst": i ulaz i izlaz uvijek su znakovni nizovi, što omogućuje da se jedan "encoder-decoder" Transformer predtrenira jednom i fino podesi za različite zadatke s dosljednim sučeljem. T5 je uveo predtreniranje "span-corruption" i korpus C4, a njegova najveća varijanta (11B parametara) postigla je najsuvremenije rezultate na širokom rasponu NLP mjerila u vrijeme objave.
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Method map
The neighbourhood of related methods — select a node to explore.
Izvori
- Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140), 1–67. link ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. link ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. ScholarGate. https://scholargate.app/hr/deep-learning/t5
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Attention MechanismDuboko učenje↔ compare
- Prijenosno učenjeStrojno učenje↔ compare
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →