T5 (Text-to-Text Transfer Transformer)

T5 ist ein vereinheitlichtes Sequence-to-Sequence Deep-Learning-Framework, das 2020 von Raffel et al. bei Google Brain eingeführt und im Journal of Machine Learning Research (Vol. 21, Nr. 140) veröffentlicht wurde. Es formuliert jede NLP-Aufgabe – Klassifizierung, Übersetzung, Zusammenfassung, Beantwortung von Fragen und mehr – als Text-zu-Text-Problem neu: Sowohl die Eingabe als auch die Ausgabe sind immer Zeichenketten, was es ermöglicht, einen einzigen Encoder-Decoder-Transformer einmal vorzutrainieren und über verschiedene Aufgaben hinweg mit einer konsistenten Schnittstelle feinabzustimmen. T5 führte das Span-Corruption-Pre-Training und den C4-Korpus ein, und seine größte Variante (11 Milliarden Parameter) erzielte zum Zeitpunkt der Veröffentlichung Spitzenleistungen in einer breiten Palette von NLP-Benchmarks.