T5 (Text-to-Text Transfer Transformer)

T5 เป็นเฟรมเวิร์กการเรียนรู้เชิงลึกแบบลำดับต่อลำดับ (sequence-to-sequence) แบบรวมศูนย์ ซึ่งนำเสนอโดย Raffel และคณะ ที่ Google Brain ในปี 2020 ตีพิมพ์ในวารสาร Journal of Machine Learning Research (เล่มที่ 21 ฉบับที่ 140) โดยปรับเปลี่ยนทุกงานของ NLP — การจำแนกประเภท การแปล การสรุป การตอบคำถาม และอื่นๆ — ให้เป็นปัญหาแบบข้อความต่อข้อความ (text-to-text) กล่าวคือ ทั้งอินพุตและเอาต์พุตเป็นสตริงอักขระเสมอ ทำให้ Transformer แบบเข้ารหัส-ถอดรหัส (encoder-decoder) เพียงตัวเดียวสามารถฝึกฝนล่วงหน้า (pre-trained) ครั้งเดียว และปรับละเอียด (fine-tuned) สำหรับงานต่างๆ ด้วยอินเทอร์เฟซที่สอดคล้องกัน T5 ได้นำเสนอการฝึกฝนล่วงหน้าแบบ span-corruption และคลังข้อมูล C4 และรูปแบบที่ใหญ่ที่สุด (พารามิเตอร์ 11 พันล้านตัว) ได้บรรลุผลลัพธ์ระดับสถานะศิลป์ (state-of-the-art) ในชุดเกณฑ์มาตรฐาน NLP ที่หลากหลาย ณ เวลาที่ตีพิมพ์