Clasificación basada en BERT adaptada al dominio

La clasificación basada en BERT adaptada al dominio extiende el flujo de ajuste fino estándar al continuar primero el preentrenamiento del modelo de lenguaje enmascarado (MLM) de BERT en un gran corpus de texto no etiquetado del dominio específico, y luego ajustar el modelo adaptado con ejemplos etiquetados para la tarea de clasificación objetivo. Este enfoque de dos etapas cierra la brecha de vocabulario y distribución entre el corpus de preentrenamiento general de BERT y dominios especializados como la biomedicina, el derecho, las finanzas o el texto de redes sociales.