Machine learningDeep learning / NLP / CV
Selv-superviseret RoBERTa-baseret klassifikation
Selv-superviseret RoBERTa-baseret klassifikation kombinerer RoBERTa-transformerens kraftfulde sprogrepræsentationer — lært fra store umærkede korpora gennem masked-language modeling — med selv-superviserede mål for at udføre tekstklassifikation med lidt eller ingen menneskeligt mærkede data. Tilgangen udnytter rigelige umærkede tekster til at generere sit eget træningssignal før finjustering på en downstream klassifikationsopgave.
Læs hele metoden
Kun for medlemmer
Log indLog ind med en gratis konto for at læse dette afsnit.
Kilder
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Sådan citerer du denne side
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/da/deep-learning/self-supervised-roberta-based-classification
Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →