Domain-adaptive RoBERTa-based Classification
Domain-adaptive RoBERTa-based classification extends the RoBERTa transformer by first continuing its masked-language-model pretraining on a domain-specific corpus before fine-tuning for a classification task. This two-stage adaptation bridges the gap between general web-crawled training data and specialized fields such as biomedical, legal, or scientific text, consistently outperforming standard RoBERTa fine-tuning when target-domain text is available.
Avota reģistrs
Atsauces kopētas tieši no metodes avota reģistra. Tās nenozīmē nekādu apgalvojumu līmeņa verifikāciju.
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. · URL
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of ACL 2020, pp. 8342–8360. · DOI 10.18653/v1/2020.acl-main.740
Kurēti apgalvojumi
Apgalvojumi saglabāti pierādījumu reģistrā, katram ar savu novērtējumu.
Šis skatījums neizgudro apgalvojumu novērtējumu, ja reģistrā tā nav.
Saistītās metodes
Ģenerēts no metodes grafika un parādīts kā mašīnas ieteiktas attiecības — netiek izvirzīts neviens pierādījumu apgalvojums.