T5 (Text-to-Text Transfer Transformer)

T5 — это унифицированный фреймворк глубокого обучения для преобразования последовательностей в последовательности, представленный Раффелом и др. в Google Brain в 2020 году и опубликованный в Journal of Machine Learning Research (Vol. 21, No. 140). Он переформулирует каждую задачу обработки естественного языка — классификацию, перевод, суммаризацию, ответы на вопросы и многое другое — как проблему «текст в текст»: входные и выходные данные всегда являются строками символов, что позволяет предварительно обучить одну модель Transformer с энкодером-декодером один раз и затем дообучать ее для различных задач с использованием единого интерфейса. T5 представил предварительное обучение с помощью маскирования фрагментов (span-corruption) и корпус C4, а его самый крупный вариант (11 млрд параметров) достиг наилучших результатов по широкому спектру бенчмарков NLP на момент публикации.