T5 (Text-to-Text Transfer Transformer)

T5 — це уніфікована глибока навчальна структура послідовність-до-послідовності, представлена Raffel et al. у Google Brain у 2020 році, опублікована в Journal of Machine Learning Research (Vol. 21, No. 140). Вона переформатовує кожне завдання обробки природної мови (NLP) — класифікацію, переклад, узагальнення, відповіді на запитання тощо — як проблему тексту-в-текст: як вхідні, так і вихідні дані завжди є рядками символів, що дозволяє один раз попередньо навчити єдиний Transformer з кодувальником-декодувальником і доналаштовувати його для різних завдань за допомогою послідовного інтерфейсу. T5 представив попереднє навчання зі спотворенням проміжків (span-corruption pre-training) та корпус C4, а його найбільший варіант (11 мільярдів параметрів) досяг найсучасніших результатів у широкому спектрі NLP-бенчмарків на момент публікації.