Machine learningDeep learning / NLP / CV
تصنيف قائم على RoBERTa ذاتي الإشراف
يجمع التصنيف ذاتي الإشراف القائم على RoBERTa بين تمثيلات اللغة القوية لمحول RoBERTa — التي تم تعلمها من مجموعات بيانات غير موسومة كبيرة من خلال نمذجة اللغة المقنعة — مع أهداف ذاتية الإشراف لأداء تصنيف النصوص مع القليل من البيانات المسماة يدويًا أو بدونها. يستفيد النهج من النص غير الموسوم الوفير لتوليد إشارة تدريب خاصة به قبل الضبط الدقيق لمهمة تصنيف لاحقة.
اقرأ الطريقة كاملة
للأعضاء فقط
تسجيل الدخولسجّل الدخول بحساب مجاني لقراءة هذا القسم.
المصادر
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
كيف تستشهد بهذه الصفحة
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/ar/deep-learning/self-supervised-roberta-based-classification