T5 (Text-till-Text Transfer Transformer)

T5 är ett enhetligt djupinlärningsramverk för sekvens-till-sekvens-modeller, introducerat av Raffel et al. vid Google Brain år 2020 och publicerat i Journal of Machine Learning Research (Vol. 21, No. 140). Det omformulerar varje NLP-uppgift – klassificering, översättning, sammanfattning, frågesvar med mera – till ett text-till-text-problem: både indata och utdata är alltid teckensträngar, vilket möjliggör att en enda encoder-decoder Transformer kan förtränas en gång och finjusteras över olika uppgifter med ett konsekvent gränssnitt. T5 introducerade span-corruption-förträning och C4-korpusen, och dess största variant (11 miljarder parametrar) uppnådde toppmoderna resultat över ett brett spektrum av NLP-riktmärken vid tidpunkten för publiceringen.