Самообучаваща се класификация, базирана на RoBERTa
Самообучаващата се класификация, базирана на RoBERTa, комбинира мощните езикови репрезентации на трансформера RoBERTa — научени от големи немаркирани корпуси чрез моделиране на маскиран език — със самообучаващи се цели за извършване на текстова класификация с малко или никакви човешки маркирани данни. Подходът използва изобилие от немаркиран текст, за да генерира собствен сигнал за обучение преди фината настройка за последваща задача за класификация.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Източници
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Как да цитирате тази страница
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/bg/deep-learning/self-supervised-roberta-based-classification
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →