טרנספורמר בלמידה חצי-מפוקחת
למידה חצי-מפוקחת עם ארכיטקטורות טרנספורמר ממנפת כמויות גדולות של נתונים לא מתויגים לצד קבוצה קטנה של נתונים מתויגים כדי לאמן מודלים רבי עוצמה של רצפים. התבנית הדומיננטית – המודגמת על ידי BERT – מאמנת תחילה את הטרנספורמר על נתונים לא מתויגים באמצעות מטרות בלמידה עצמית, כגון חיזוי אסימונים ממוסכים, ולאחר מכן מכווננת אותו למשימה המתויגת. גישה דו-שלבית זו מפחיתה באופן דרמטי את כמות הנתונים המתויגים הנדרשת להשגת ביצועים חזקים.
קראו את השיטה במלואה
התחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
מקורות
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/he/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- סיווג מבוסס BERTלמידה עמוקה↔ compare
- Transformer מכוונן היטבלמידה עמוקה↔ compare
- סיווג מבוסס RoBERTaלמידה עמוקה↔ compare
- טרנספורמר למידה-עצמיתלמידה עמוקה↔ compare
- רשת קונבולוציה למידה-מונחית-למחצהלמידה עמוקה↔ compare