Machine learningDeep learning / NLP / CV
Självövervakad RoBERTa-baserad klassificering
Självövervakad RoBERTa-baserad klassificering kombinerar RoBERTa-transformerns kraftfulla språkrepresentationer — inlärda från stora oetiketterade korpusar genom maskerad språkmodellering — med självövervakade mål för att utföra textklassificering med lite eller ingen mänskligt etiketterad data. Metoden utnyttjar rikligt med oetiketterad text för att generera sin egen träningssignal innan finjustering på en nedströms klassificeringsuppgift.
Läs hela metoden
Endast för medlemmar
Logga inLogga in med ett kostnadsfritt konto för att läsa avsnittet.
Källor
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Så citerar du den här sidan
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/sv/deep-learning/self-supervised-roberta-based-classification
Hittade du ett fel på sidan? Rapportera eller föreslå en rättelse →