Класифікація на основі самокерованого RoBERTa
Самокерована класифікація на основі RoBERTa поєднує потужні мовні представлення трансформера RoBERTa — отримані з великих нерозмічених корпусів за допомогою моделювання маскованої мови — із самокерованими цілями для виконання класифікації тексту з мінімальною кількістю розмічених людиною даних або без них. Цей підхід використовує велику кількість нерозміченого тексту для генерації власного навчального сигналу перед доналаштуванням для подальшого завдання класифікації.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Джерела
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 3). Self-supervised RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/uk/deep-learning/self-supervised-roberta-based-classification
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →