Класифікація на основі RoBERTa з адаптацією до домену
Класифікація на основі RoBERTa з адаптацією до домену розширює трансформер RoBERTa, спочатку продовжуючи його попереднє навчання за допомогою моделі маскованої мови (masked-language-model, MLM) на корпусі, специфічному для домену, перед доналаштуванням для завдання класифікації. Ця двоступенева адаптація скорочує розрив між загальними даними, зібраними з Інтернету, та спеціалізованими галузями, такими як біомедичні, юридичні або наукові тексти, послідовно перевершуючи стандартне доналаштування RoBERTa за наявності текстів цільового домену.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Method map
The neighbourhood of related methods — select a node to explore.
Джерела
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of ACL 2020, pp. 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 3). Domain-Adaptive RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/uk/deep-learning/domain-adaptive-roberta-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Класифікація на основі BERTГлибоке навчання↔ compare
- Класифікація на основі BERT з адаптацією до предметної областіГлибоке навчання↔ compare
- Класифікація на основі доналаштованої моделі RoBERTaГлибоке навчання↔ compare
- Класифікація на основі багатомовного RoBERTaГлибоке навчання↔ compare
- Класифікація на основі RoBERTaГлибоке навчання↔ compare
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →