T5 (Text-to-Text Transfer Transformer)

T5 es un marco unificado de aprendizaje profundo secuencia a secuencia introducido por Raffel et al. en Google Brain en 2020, publicado en el Journal of Machine Learning Research (Vol. 21, No. 140). Reformula cada tarea de PLN —clasificación, traducción, resumen, respuesta a preguntas y más— como un problema de texto a texto: tanto la entrada como la salida son siempre cadenas de caracteres, lo que permite preentrenar una única Transformer codificador-decodificador una vez y ajustarla en diversas tareas con una interfaz coherente. T5 introdujo el preentrenamiento de corrupción de tramos (span corruption) y el corpus C4, y su variante más grande (11.000 millones de parámetros) logró resultados de vanguardia en una amplia gama de puntos de referencia de PLN en el momento de su publicación.