Класификация, базирана на домейн-адаптиран RoBERTa
Класификацията, базирана на домейн-адаптиран RoBERTa, разширява трансформера RoBERTa, като първо продължава неговото предварително обучение с модел за маскиран език върху корпус, специфичен за домейна, преди да бъде фино настроен за задача за класификация. Тази двуетапна адаптация преодолява пропастта между общи данни за обучение, извлечени от уеб, и специализирани области като биомедицински, правни или научни текстове, като последователно надминава стандартното фино настройване на RoBERTa, когато са налични текстове от целевия домейн.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Method map
The neighbourhood of related methods — select a node to explore.
Източници
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of ACL 2020, pp. 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
Как да цитирате тази страница
ScholarGate. (2026, June 3). Domain-Adaptive RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/bg/deep-learning/domain-adaptive-roberta-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Класификация, базирана на BERTДълбоко обучение↔ compare
- Адаптивно към домейна класифициране, базирано на BERTДълбоко обучение↔ compare
- Класификация, базирана на фино настроен RoBERTaДълбоко обучение↔ compare
- Многоезикова класификация, базирана на RoBERTaДълбоко обучение↔ compare
- Класификация, базирана на RoBERTaДълбоко обучение↔ compare
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →