T5 (Text-to-Text Transfer Transformer)

T5 je jedinstveni duboko-učeći okvir sekvenca-u-sekvencu koji su uveli Raffel et al. u Google Brain-u 2020. godine, objavljen u časopisu Journal of Machine Learning Research (Vol. 21, No. 140). On preoblikuje svaki NLP zadatak — klasifikaciju, prevođenje, sažimanje, odgovaranje na pitanja i drugo — u problem tekst-u-tekst: i ulaz i izlaz su uvek nizovi znakova, što omogućava da se jedan enkoder-dekoder Transformer predobučava jednom i doteruje (fine-tune) za različite zadatke sa doslednim interfejsom. T5 je uveo predobučavanje pomoću „span corruption“ (oštećenja raspona) i C4 korpus, a njegova najveća varijanta (11 milijardi parametara) je postigla najsavremenije rezultate na širokom spektru NLP mernih pokazatelja u vreme objavljivanja.