Domain-adaptive RoBERTa-based Classification
Domain-adaptive RoBERTa-based classification extends the RoBERTa transformer by first continuing its masked-language-model pretraining on a domain-specific corpus before fine-tuning for a classification task. This two-stage adaptation bridges the gap between general web-crawled training data and specialized fields such as biomedical, legal, or scientific text, consistently outperforming standard RoBERTa fine-tuning when target-domain text is available.
سوابق منبع
استنادات عیناً از سوابق منبع روش کپی شدهاند. هیچ تأیید در سطح ادعا از آنها استنباط نمیشود.
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. · URL
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of ACL 2020, pp. 8342–8360. · DOI 10.18653/v1/2020.acl-main.740
ادعاهای گزینششده
ادعاها در دفتر ثبت شواهد ذخیره شدهاند، هر کدام با ارزیابی خاص خود.
این نما در صورت عدم وجود ارزیابی ادعا در دفتر ثبت، ادعایی ابداع نمیکند.
روشهای مرتبط
از گراف روش تولید شده و به عنوان روابط پیشنهادی ماشین نمایش داده میشود — هیچ ادعای مدرکی استنباط نمیشود.