Machine learningDeep learning / NLP / CV
RoBERTa-põhine isejuhendatud klassifitseerimine
RoBERTa-põhine isejuhendatud klassifitseerimine ühendab RoBERTa transformeri võimsad keelekujutused – õpitud suurtest märgistamata andmehulkadest maskeeritud keele modelleerimise kaudu – isejuhendatud eesmärkidega, et teostada tekstiklassifitseerimist vähese või olematu inimlikult märgistatud andmega. Lähenemisviis kasutab rikkalikku märgistamata teksti, et genereerida oma treeningusignaal enne allavoolu klassifitseerimisülesande peenhäälestamist.
Loe meetodi täielikku kirjeldust
Ainult liikmetele
Logi sisseSelle osa lugemiseks logi sisse tasuta kontoga.
Allikad
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Kuidas sellele lehele viidata
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/et/deep-learning/self-supervised-roberta-based-classification
Märkasid sellel lehel viga? Teata sellest või paku parandust →