Machine learningDeep learning / NLP / CV
סיווג מבוסס RoBERTa בפיקוח עצמי
סיווג מבוסס RoBERTa בפיקוח עצמי משלב את ייצוגי השפה העוצמתיים של טרנספורמר RoBERTa — שנלמדו מקורפוסים גדולים ללא תיוג באמצעות מידול שפה ממוסך — עם מטרות פיקוח עצמי לביצוע סיווג טקסט עם מעט או ללא נתונים מתויגים אנושית. הגישה ממנפת טקסט שופע ללא תיוג כדי ליצור אות אימון משלה לפני כוונון עדין למשימת סיווג במורד הזרם.
קראו את השיטה במלואה
לחברים בלבד
התחברותהתחברו עם חשבון חינמי כדי לקרוא חלק זה.
מקורות
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/he/deep-learning/self-supervised-roberta-based-classification