T5 (Text-til-Tekst Overføringstransformator)

T5 er et enhetlig sekvens-til-sekvens dyplæringsrammeverk introdusert av Raffel et al. ved Google Brain i 2020, publisert i Journal of Machine Learning Research (Vol. 21, No. 140). Det omformulerer enhver NLP-oppgave — klassifisering, oversettelse, oppsummering, spørsmål-svar, og mer — som et tekst-til-tekst-problem: både input og output er alltid tegnstrenger, noe som muliggjør at en enkelt enkoder-dekoder Transformer kan forhåndstrene én gang og finjusteres på tvers av oppgaver med et konsistent grensesnitt. T5 introduserte span-korrupsjonsforhåndstrening og C4-korpuset, og dens største variant (11 milliarder parametere) oppnådde toppmoderne resultater på tvers av et bredt spekter av NLP-benchmarker på tidspunktet for publisering.