Classification RoBERTa adaptative au domaine

La classification RoBERTa adaptative au domaine étend le transformeur RoBERTa en poursuivant d'abord son pré-entraînement par modèle de langage masqué sur un corpus spécifique au domaine avant le réglage fin pour une tâche de classification. Cette adaptation en deux étapes comble l'écart entre les données d'entraînement générales extraites du web et les domaines spécialisés tels que le texte biomédical, juridique ou scientifique, surpassant constamment le réglage fin standard de RoBERTa lorsque le texte du domaine cible est disponible.