Clasificación basada en RoBERTa adaptada al dominio
La clasificación basada en RoBERTa adaptada al dominio extiende el transformador RoBERTa continuando primero su preentrenamiento con modelo de lenguaje enmascarado (MLM) sobre un corpus específico del dominio antes de ajustar finamente para una tarea de clasificación. Esta adaptación en dos etapas cierra la brecha entre los datos de entrenamiento rastreados en la web de propósito general y campos especializados como el texto biomédico, legal o científico, superando consistentemente el ajuste fino estándar de RoBERTa cuando hay texto del dominio objetivo disponible.
Leer el método completo
Inicia sesión con una cuenta gratuita para leer esta sección.
Method map
The neighbourhood of related methods — select a node to explore.
Fuentes
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692. link ↗
- Gururangan, S., Marasovic, A., Swayamdipta, S., Lo, K., Beltagy, I., Downey, D., & Smith, N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In Proceedings of ACL 2020, pp. 8342–8360. DOI: 10.18653/v1/2020.acl-main.740 ↗
Cómo citar esta página
ScholarGate. (2026, June 3). Domain-Adaptive RoBERTa-based Text Classification. ScholarGate. https://scholargate.app/es/deep-learning/domain-adaptive-roberta-based-classification
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Clasificación basada en BERTAprendizaje profundo↔ compare
- Clasificación basada en BERT adaptada al dominioAprendizaje profundo↔ compare
- Clasificación basada en RoBERTa con ajuste finoAprendizaje profundo↔ compare
- Clasificación multilingüe basada en RoBERTaAprendizaje profundo↔ compare
- Clasificación basada en RoBERTaAprendizaje profundo↔ compare
¿Has visto un problema en esta página? Infórmanos o sugiere una corrección →