T5 (Text-to-Text Transfer Transformer)

T5 je unifikovaný hlboko-vzdelávací rámec typu sekvencia-na-sekvenciu, ktorý predstavili Raffel et al. v Google Brain v roku 2020 a publikovali v Journal of Machine Learning Research (Vol. 21, No. 140). Každú úlohu spracovania prirodzeného jazyka (NLP) – klasifikáciu, preklad, sumarizáciu, odpovedanie na otázky a iné – preformulúva ako problém text-na-text: vstup aj výstup sú vždy reťazce znakov, čo umožňuje jedinému transformátorovému enkóder-deenkóderu byť predtrénovanému raz a následne doladenému pre rôzne úlohy s konzistentným rozhraním. T5 zaviedol predtrénovanie metódou „span corruption“ (poškodenie úsekov) a korpus C4, pričom jeho najväčšia varianta (11 miliárd parametrov) dosiahla v čase publikácie výsledky na úrovni najmodernejších metód v širokej škále NLP benchmarkov.