Адаптация RoBERTa на основе домена для классификации
Адаптация RoBERTa на основе домена для классификации расширяет трансформер RoBERTa, сначала продолжая его предварительное обучение на основе модели маскированного языка на корпусе, специфичном для домена, перед доводкой для задачи классификации. Эта двухэтапная адаптация сокращает разрыв между общими данными, собранными из Интернета, и специализированными областями, такими как биомедицинские, юридические или научные тексты, последовательно превосходя стандартную доводку RoBERTa при наличии текстов целевого домена.
Читать метод полностью
Войдите с бесплатным аккаунтом, чтобы прочитать этот раздел.
Method map
The neighbourhood of related methods — select a node to explore.
Источники
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of ACL 2020, pp. 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
Как цитировать эту страницу
ScholarGate. (2026, June 3). Domain-Adaptive RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/ru/deep-learning/domain-adaptive-roberta-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Классификация на основе BERTГлубокое обучение↔ compare
- Адаптация BERT-модели к домену на основе классификацииГлубокое обучение↔ compare
- Классификация на основе дообученной модели RoBERTaГлубокое обучение↔ compare
- Многоязычная классификация на основе RoBERTaГлубокое обучение↔ compare
- Классификация на основе RoBERTaГлубокое обучение↔ compare
Нашли ошибку на этой странице? Сообщите о ней или предложите исправление →