Класифікація на основі RoBERTa
Класифікація на основі RoBERTa застосовує попередньо навчену трансформерну модель RoBERTa — навчену більш надійно, ніж BERT, з динамічним маскуванням та більшими пакетами (batches) — до завдань категоризації тексту шляхом додавання легковагової голови класифікації поверх представлення токена [CLS] та доналаштування (fine-tuning) усієї моделі на розмічених прикладах. Вона стабільно відповідає або перевершує BERT на стандартних бенчмарках обробки природної мови (NLP).
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Method map
The neighbourhood of related methods — select a node to explore.
+24 more
Джерела
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 3). RoBERTa-based Text Classification (Robustly Optimized BERT Pretraining Approach). ScholarGate. https://scholargate.app/uk/deep-learning/roberta-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Класифікація на основі BERTГлибоке навчання↔ compare
- Класифікація на основі доналаштованої моделі RoBERTaГлибоке навчання↔ compare
- Блокований рекурентний блок (GRU)Глибоке навчання↔ compare
- Довга короткострокова пам'ять (LSTM)Глибоке навчання↔ compare
- Векторні представлення реченьГлибоке навчання↔ compare
Згадується в
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →