למידת העברה בפיקוח עצמי
למידת העברה בפיקוח עצמי משלבת שתי פרדיגמות עוצמתיות: מודל לומד תחילה ייצוגים עשירים מנתונים לא מתויגים באמצעות משימות קדם (pretext tasks) בפיקוח עצמי, ואז ייצוגים אלו מועברים ומכווננים (fine-tuned) למשימה יורדת (downstream task) עם נתונים מתויגים מוגבלים. גישה זו עומדת בבסיס מערכות ציון דרך כמו BERT בעיבוד שפה טבעית (NLP) ו-SimCLR ו-DINO בראייה ממוחשבת, ומפחיתה באופן דרמטי את דרישות הנתונים המתויגים בתחומים רבים.
קראו את השיטה במלואה
התחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
מקורות
- Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning (ICML), PMLR 119, 1597–1607. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT 2019, 4171–4186. Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 3). Self-supervised Pre-training for Transfer Learning. ScholarGate. https://scholargate.app/he/machine-learning/self-supervised-transfer-learning
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- למידת מעט דוגמאותלמידת מכונה↔ compare
- למידת מטריקותלמידת מכונה↔ compare
- למידת מעט דוגמאות בפיקוח עצמילמידת מכונה↔ compare
- למידה בפיקוח עצמילמידת מכונה↔ compare
- למידה מונחית-למחצהלמידת מכונה↔ compare
- Transfer Learningלמידת מכונה↔ compare