طبقهبندی مبتنی بر RoBERTa خودنظارتی
طبقهبندی مبتنی بر RoBERTa خودنظارتی، بازنماییهای زبانی قدرتمند ترنسفورمر RoBERTa را — که از طریق مدلسازی زبان پوشیده (masked-language modeling) بر روی مجموعههای داده بدون برچسب بزرگ آموخته شده است — با اهداف خودنظارتی ترکیب میکند تا طبقهبندی متن را با دادههای برچسبگذاری شده انسانی کم یا بدون نیاز انجام دهد. این رویکرد از متن بدون برچسب فراوان برای تولید سیگنال آموزشی خود استفاده میکند و سپس بر روی وظیفه طبقهبندی پاییندستی تنظیم دقیق (fine-tuning) میشود.
مطالعهٔ کامل روش
برای خواندن این بخش با حساب رایگان وارد شوید.
منابع
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
نحوهٔ استناد به این صفحه
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/fa/deep-learning/self-supervised-roberta-based-classification
در این صفحه مشکلی دیدید؟ گزارش دهید یا اصلاحی پیشنهاد کنید →