Klasifikasi Berasaskan RoBERTa Kendiri-Terarah
Klasifikasi berasaskan RoBERTa kendiri-terarah menggabungkan perwakilan bahasa yang berkuasa daripada transformer RoBERTa — yang dipelajari daripada korpus tidak berlabel berskala besar melalui pemodelan bahasa bertopeng — dengan objektif kendiri-terarah untuk melakukan klasifikasi teks dengan sedikit atau tiada data berlabel manusia. Pendekatan ini memanfaatkan teks tidak berlabel yang banyak untuk menjana isyarat latihannya sendiri sebelum penalaan halus pada tugas klasifikasi hiliran.
Baca kaedah sepenuhnya
Log masuk dengan akaun percuma untuk membaca bahagian ini.
Sumber
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Cara memetik halaman ini
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/ms/deep-learning/self-supervised-roberta-based-classification
Terjumpa masalah pada halaman ini? Laporkan atau cadangkan pembetulan →