ترنسفورمر خودنظارتی
ترنسفورمر خودنظارتی، شبکهای از معماری ترنسفورمر است که با استفاده از سیگنالهای نظارتیِ خودکار ساختهشده — مانند پیشبینی توکن پوشاندهشده یا پیشبینی جمله بعدی — بهجای برچسبهای حاشیهنویسیشده توسط انسان، پیشآموزش داده میشود. بازنماییهای حاصل سپس برای وظایف پاییندستی، تنظیم دقیق (fine-tuned) یا کاوش (probed) میشوند. BERT، GPT و ViT (Vision Transformer در حالت مدلسازی تصویر پوشاندهشده) شناختهشدهترین نمونههای این پارادایم هستند.
مطالعهٔ کامل روش
برای خواندن این بخش با حساب رایگان وارد شوید.
Method map
The neighbourhood of related methods — select a node to explore.
منابع
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
نحوهٔ استناد به این صفحه
ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/fa/deep-learning/self-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- طبقهبندی مبتنی بر بِرْتیادگیری عمیق↔ compare
- ترنسفورمر تنظیمشدهیادگیری عمیق↔ compare
- طبقهبندی مبتنی بر RoBERTaیادگیری عمیق↔ compare
- شبکه عصبی کانولوشنی خودنظارتییادگیری عمیق↔ compare
- تعبیههای جملهیادگیری عمیق↔ compare
ارجاعشده در
در این صفحه مشکلی دیدید؟ گزارش دهید یا اصلاحی پیشنهاد کنید →