Self-supervised RoBERTa-based classification
Self-supervised RoBERTa-based classification combines the RoBERTa transformer's powerful language representations — learned from large unlabeled corpora through masked-language modeling — with self-supervised objectives to perform text classification with little or no human-labeled data. The approach leverages abundant unlabeled text to generate its own training signal before fine-tuning on a downstream classification task.
Avota reģistrs
Atsauces kopētas tieši no metodes avota reģistra. Tās nenozīmē nekādu apgalvojumu līmeņa verifikāciju.
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. · URL
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. · DOI 10.18653/v1/N19-1423
Kurēti apgalvojumi
Apgalvojumi saglabāti pierādījumu reģistrā, katram ar savu novērtējumu.
Šis skatījums neizgudro apgalvojumu novērtējumu, ja reģistrā tā nav.
Saistītās metodes
Ģenerēts no metodes grafika un parādīts kā mašīnas ieteiktas attiecības — netiek izvirzīts neviens pierādījumu apgalvojums.
Ģenerētajā attiecību grafikā nav izejošu attiecību šai metodei.