Klasifikasi Berbasis RoBERTa yang Diawasi Mandiri
Klasifikasi berbasis RoBERTa yang diawasi mandiri menggabungkan representasi bahasa yang kuat dari transformer RoBERTa — yang dipelajari dari korpus tak berlabel besar melalui pemodelan bahasa bertopeng — dengan tujuan yang diawasi mandiri untuk melakukan klasifikasi teks dengan sedikit atau tanpa data berlabel manusia. Pendekatan ini memanfaatkan teks tak berlabel yang melimpah untuk menghasilkan sinyal pelatihannya sendiri sebelum penyetelan halus pada tugas klasifikasi hilir.
Baca metode selengkapnya
Masuk dengan akun gratis untuk membaca bagian ini.
Sumber
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Cara menyitasi halaman ini
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/id/deep-learning/self-supervised-roberta-based-classification
Menemukan masalah di halaman ini? Laporkan atau usulkan perbaikan →