Zelf-gesuperviseerde RoBERTa-gebaseerde classificatie
Zelf-gesuperviseerde RoBERTa-gebaseerde classificatie combineert de krachtige taalrepresentaties van de RoBERTa-transformer — geleerd uit grote onbevooroordeelde corpora via masked-language modeling — met zelf-gesuperviseerde doelen om tekstclassificatie uit te voeren met weinig tot geen menselijk gelabelde data. De aanpak maakt gebruik van overvloedige onbevooroordeelde tekst om zijn eigen trainingssignaal te genereren voordat deze wordt gefinetuned voor een downstream classificatietaak.
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Bronnen
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Deze pagina citeren
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/nl/deep-learning/self-supervised-roberta-based-classification
Een fout op deze pagina gezien? Meld het of stel een correctie voor →