T5 (Text-to-Text Transfer Transformer)

T5 é um framework unificado de deep learning sequência-a-sequência introduzido por Raffel et al. no Google Brain em 2020, publicado no Journal of Machine Learning Research (Vol. 21, No. 140). Ele reformula todas as tarefas de PLN — classificação, tradução, sumarização, resposta a perguntas e mais — como um problema de texto-para-texto: tanto a entrada quanto a saída são sempre strings de caracteres, permitindo que um único Transformer codificador-decodificador seja pré-treinado uma vez e ajustado finamente em diversas tarefas com uma interface consistente. T5 introduziu o pré-treinamento por corrupção de spans e o corpus C4, e sua maior variante (11 bilhões de parâmetros) alcançou resultados de ponta em uma ampla gama de benchmarks de PLN na época de sua publicação.