T5 (Text-to-Text Transfer Transformer)

T5 adalah kerangka kerja pembelajaran mendalam (deep learning) terpadu sekuens-ke-sekuens yang diperkenalkan oleh Raffel et al. di Google Brain pada tahun 2020, diterbitkan di Journal of Machine Learning Research (Vol. 21, No. 140). Kerangka ini membingkai ulang setiap tugas NLP — klasifikasi, terjemahan, peringkasan, tanya jawab, dan lainnya — sebagai masalah teks-ke-teks: baik masukan maupun keluaran selalu berupa untaian karakter (character string), memungkinkan satu Transformer encoder-dekoder untuk dilatih sebelumnya (pre-trained) sekali dan disesuaikan (fine-tuned) di berbagai tugas dengan antarmuka yang konsisten. T5 memperkenalkan pra-pelatihan korupsi rentang (span-corruption) dan korpus C4, dan varian terbesarnya (11 miliar parameter) mencapai hasil mutakhir (state-of-the-art) di berbagai tolok ukur NLP pada saat publikasi.