Transformer מכוונן היטב
כוונון עדין של מודל Transformer מתאים מודל גדול שאומן מראש — כגון BERT, GPT, או ViT — למשימה ספציפית בהמשך, על ידי המשך אימון מבוסס גרדיאנט על מערך נתונים מטרה מתויג. פרדיגמה דו-שלבית זו (אימון מראש ואז כוונון עדין) משיגה באופן עקבי תוצאות מתקדמות (state-of-the-art) במשימות עיבוד שפה טבעית (NLP) וראייה ממוחשבת, עם פחות נתוני משימה ספציפיים מאשר אימון מאפס.
קראו את השיטה במלואה
התחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
+4 more
מקורות
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186. link ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 3). Fine-Tuned Transformer (Task-Specific Adaptation of Pre-Trained Transformer Models). ScholarGate. https://scholargate.app/he/deep-learning/fine-tuned-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- סיווג מבוסס BERTלמידה עמוקה↔ compare
- סיווג מבוסס BERT מכוונן עדיןלמידה עמוקה↔ compare
- רשת עצבית חוזרת מכווננת היטבלמידה עמוקה↔ compare
- סיווג מבוסס RoBERTaלמידה עמוקה↔ compare