T5 (Text-to-Text Transfer Transformer)
T5 یک چارچوب یادگیری عمیق یکپارچه توالی-به-توالی است که توسط Raffel و همکاران در Google Brain در سال ۲۰۲۰ معرفی شد و در مجله یادگیری ماشین (جلد ۲۱، شماره ۱۴۰) منتشر گردید. این چارچوب هر وظیفه پردازش زبان طبیعی (NLP) — طبقهبندی، ترجمه، خلاصهسازی، پرسش و پاسخ، و موارد دیگر — را به عنوان یک مسئله متن-به-متن بازتعریف میکند: ورودی و خروجی همیشه رشتههای کاراکتری هستند، که امکان پیشآموزش یک ترنسفورمر انکودر-دیکودر واحد را فراهم میآورد و سپس میتوان آن را در وظایف مختلف با یک رابط سازگار، تنظیم دقیق (fine-tune) کرد. T5 پیشآموزش مبتنی بر فساد بازه (span-corruption) و مجموعه داده C4 را معرفی کرد و بزرگترین مدل آن (با ۱۱ میلیارد پارامتر) در زمان انتشار به نتایج پیشرفتهای در طیف گستردهای از معیارهای NLP دست یافت.
مطالعهٔ کامل روش
برای خواندن این بخش با حساب رایگان وارد شوید.
Method map
The neighbourhood of related methods — select a node to explore.
منابع
- Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140), 1–67. link ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. link ↗
نحوهٔ استناد به این صفحه
ScholarGate. (2026, June 3). T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. ScholarGate. https://scholargate.app/fa/deep-learning/t5
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- سازوکار توجهیادگیری عمیق↔ compare
- یادگیری انتقالییادگیری ماشین↔ compare
در این صفحه مشکلی دیدید؟ گزارش دهید یا اصلاحی پیشنهاد کنید →