ترنسفورمر نیمهنظارتی
یادگیری نیمهنظارتی با معماریهای ترنسفورمر، از حجم زیادی داده بدون برچسب در کنار مجموعهای کوچک از دادههای برچسبدار برای آموزش مدلهای توالی قدرتمند بهره میبرد. الگوی غالب — که توسط BERT نمونهسازی شده است — ابتدا ترنسفورمر را بر روی دادههای بدون برچسب با استفاده از اهداف خودنظارتی مانند پیشبینی توکن پوشانده شده، پیشآموزش میدهد، سپس آن را برای وظیفه برچسبدار شده، تنظیم دقیق (fine-tune) میکند. این رویکرد دو مرحلهای، دادههای برچسبدار مورد نیاز برای دستیابی به عملکرد قوی را به طرز چشمگیری کاهش میدهد.
مطالعهٔ کامل روش
برای خواندن این بخش با حساب رایگان وارد شوید.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
منابع
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
نحوهٔ استناد به این صفحه
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/fa/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- طبقهبندی مبتنی بر بِرْتیادگیری عمیق↔ compare
- ترنسفورمر تنظیمشدهیادگیری عمیق↔ compare
- طبقهبندی مبتنی بر RoBERTaیادگیری عمیق↔ compare
- ترنسفورمر خودنظارتییادگیری عمیق↔ compare
- شبکه عصبی کانولوشنی نیمهنظارتشدهیادگیری عمیق↔ compare
ارجاعشده در
در این صفحه مشکلی دیدید؟ گزارش دهید یا اصلاحی پیشنهاد کنید →