טרנספורמר למידה-עצמית
טרנספורמר למידה-עצמית הוא רשת טרנספורמר שאומנה מראש באמצעות אותות פיקוח שנבנו באופן אוטומטי — כגון חיזוי אסימון ממוסך או חיזוי המשפט הבא — במקום תוויות שסומנו על ידי אדם. הייצוגים המתקבלים עוברים לאחר מכן כוונון עדין (fine-tuning) או בחינה (probing) במשימות המשך (downstream tasks). BERT, GPT, ו-ViT (Vision Transformer במצב מידול תמונה ממוסכת) הם הדוגמאות הנפוצות ביותר למודל זה.
קראו את השיטה במלואה
התחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
מקורות
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/he/deep-learning/self-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- סיווג מבוסס BERTלמידה עמוקה↔ compare
- Transformer מכוונן היטבלמידה עמוקה↔ compare
- סיווג מבוסס RoBERTaלמידה עמוקה↔ compare
- רשת קונבולוציה למידה עצמית-מונחיתלמידה עמוקה↔ compare
- ייצוגי משפטים (Sentence Embeddings)למידה עמוקה↔ compare