T5 (Text-to-Text Transfer Transformer)

T5 este un cadru unificat de deep learning secvență-la-secvență, introdus de Raffel et al. la Google Brain în 2020, publicat în Journal of Machine Learning Research (Vol. 21, Nr. 140). Acesta reformulează fiecare sarcină NLP — clasificare, traducere, sumarizare, răspuns la întrebări și altele — ca o problemă text-la-text: atât intrarea, cât și ieșirea sunt întotdeauna șiruri de caractere, permițând unui singur Transformer encoder-decoder să fie pre-antrenat o dată și apoi ajustat fin (fine-tuned) pe diverse sarcini cu o interfață consistentă. T5 a introdus pre-antrenarea prin coruperea secvențelor (span-corruption) și corpusul C4, iar cea mai mare variantă a sa (11 miliarde de parametri) a atins rezultate de ultimă generație pe o gamă largă de benchmark-uri NLP la momentul publicării.