T5 (Text-to-Text Transfer Transformer)

T5 è un framework unificato di deep learning sequence-to-sequence introdotto da Raffel et al. presso Google Brain nel 2020, pubblicato nel Journal of Machine Learning Research (Vol. 21, No. 140). Riformula ogni compito NLP — classificazione, traduzione, sommario, risposta a domande e altro — come un problema text-to-text: sia l'input che l'output sono sempre stringhe di caratteri, consentendo a un singolo Transformer encoder-decoder di essere pre-addestrato una volta e fine-tunizzato su più compiti con un'interfaccia coerente. T5 ha introdotto il pre-addestramento con span-corruption e il corpus C4, e la sua variante più grande (11 miliardi di parametri) ha raggiunto risultati all'avanguardia su un'ampia gamma di benchmark NLP al momento della pubblicazione.