T5 (Text-to-Text Transfer Transformer)

T5 er et unificeret sekvens-til-sekvens deep learning-framework introduceret af Raffel et al. hos Google Brain i 2020, publiceret i Journal of Machine Learning Research (Vol. 21, No. 140). Det omformulerer enhver NLP-opgave — klassifikation, oversættelse, opsummering, spørgsmål-svar og mere — som et tekst-til-tekst problem: både input og output er altid tegnstrenge, hvilket muliggør, at en enkelt encoder-decoder Transformer kan fortrænes én gang og finjusteres på tværs af opgaver med en konsistent grænseflade. T5 introducerede span-corruption fortræning og C4-korpusset, og dets største variant (11 mia. parametre) opnåede state-of-the-art resultater på tværs af et bredt spektrum af NLP-benchmarks på udgivelsestidspunktet.