T5 (Text-to-Text Transfer Transformer)

T5 ni mfumo mmoja wa kina wa kujifunza wa mfuatano-hadi-mfuatano ulioanzishwa na Raffel et al. katika Google Brain mwaka 2020, uliotolewa katika Jarida la Utafiti wa Kujifunza kwa Mashine (Vol. 21, No. 140). Unafafanua upya kila kazi ya NLP — uainishaji, tafsiri, muhtasari, kujibu maswali, na zaidi — kama tatizo la maandishi-hadi-maandishi: ingizo na utoaji vyote huwa ni vipande vya herufi, kuwezesha Transformer moja ya kiingilio-kutozi kuandaliwa mapema mara moja na kuboreshwa kwa ajili ya kazi mbalimbali kwa kiolesura kimoja. T5 ilianzisha mafunzo ya awali ya uharibifu wa vipande na korpasi ya C4, na lahisi yake kubwa zaidi (vigezo bilioni 11) ilipata matokeo ya hali ya juu katika vigezo mbalimbali vya NLP wakati wa kuchapishwa.