T5 (Text-to-Text Transfer Transformer)
T5 הוא מסגרת למידה עמוקה מאוחדת של רצף-לרצף שהוצגה על ידי Raffel ואח'. ב-Google Brain בשנת 2020, ופורסמה ב-Journal of Machine Learning Research (כרך 21, גיליון 140). היא מגדירה מחדש כל משימת עיבוד שפה טבעית (NLP) — סיווג, תרגום, סיכום, מענה על שאלות ועוד — כבעיית טקסט-לטקסט: הן הקלט והן הפלט הם תמיד מחרוזות תווים, מה שמאפשר לאמן מראש מודל טרנספורמר מקודד-מפענח יחיד ולאחר מכן לכוונן אותו (fine-tune) על פני משימות שונות באמצעות ממשק אחיד. T5 הציג אימון מראש בשיטת השחתת מקטעים (span-corruption) ואת קורפוס C4, והגרסה הגדולה ביותר שלו (11 מיליארד פרמטרים) השיגה תוצאות מתקדמות (state-of-the-art) במגוון רחב של מדדי NLP בזמן הפרסום.
קראו את השיטה במלואה
התחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
מקורות
- Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140), 1–67. link ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. link ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 3). T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. ScholarGate. https://scholargate.app/he/deep-learning/t5
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- מנגנון קשבלמידה עמוקה↔ compare
- Transfer Learningלמידת מכונה↔ compare