T5 (Text-to-Text Transfer Transformer)
T5 est un cadre d'apprentissage profond unifié de séquence à séquence introduit par Raffel et al. chez Google Brain en 2020, publié dans le Journal of Machine Learning Research (Vol. 21, No. 140). Il reformule chaque tâche de traitement automatique du langage naturel (TALN) — classification, traduction, résumé, réponse aux questions, et plus encore — comme un problème de texte à texte : les entrées et les sorties sont toujours des chaînes de caractères, permettant à un unique Transformer encodeur-décodeur d'être pré-entraîné une fois et affiné sur différentes tâches avec une interface cohérente. T5 a introduit le pré-entraînement par corruption d'intervalles (span-corruption) et le corpus C4, et sa variante la plus grande (11 milliards de paramètres) a atteint des résultats de pointe sur un large éventail de benchmarks TALN au moment de sa publication.
Lire la méthode complète
Connectez-vous avec un compte gratuit pour lire cette section.
Method map
The neighbourhood of related methods — select a node to explore.
Sources
- Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140), 1–67. link ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. link ↗
Comment citer cette page
ScholarGate. (2026, June 3). T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. ScholarGate. https://scholargate.app/fr/deep-learning/t5
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Mécanisme d'attentionApprentissage profond↔ compare
- Apprentissage par transfertApprentissage automatique↔ compare
Une erreur sur cette page ? Signalez-la ou proposez une correction →