T5 (Text-to-Text Transfer Transformer)

T5 to ujednolicony głęboki framework uczenia sekwencyjnego-sekwencyjnego wprowadzony przez Raffela i wsp. w Google Brain w 2020 roku, opublikowany w Journal of Machine Learning Research (Vol. 21, No. 140). Przekształca on każde zadanie NLP — klasyfikację, tłumaczenie, streszczanie, odpowiadanie na pytania i inne — w problem tekst-do-tekstu: zarówno wejście, jak i wyjście są zawsze ciągami znaków, co umożliwia jednokrotne wstępne wytrenowanie pojedynczego transformera typu enkoder-dekoder i dostrojenie go do różnych zadań za pomocą spójnego interfejsu. T5 wprowadził wstępne trenowanie z maskowaniem fragmentów (span-corruption) oraz korpus C4, a jego największy wariant (11 miliardów parametrów) osiągnął w momencie publikacji wyniki state-of-the-art w szerokim zakresie benchmarków NLP.