Classificação baseada em BERT com adaptação de domínio

A classificação baseada em BERT com adaptação de domínio estende o pipeline padrão de ajuste fino (fine-tuning) continuando primeiro o pré-treinamento de BERT com o modelo de linguagem mascarada (masked-language-model, MLM) em um grande corpus de texto não rotulado do domínio específico, e então ajustando o modelo adaptado em exemplos rotulados para a tarefa de classificação alvo. Essa abordagem em duas etapas fecha a lacuna de vocabulário e distribuição entre o corpus geral de pré-treinamento de BERT e domínios especializados, como biomedicina, direito, finanças ou textos de mídias sociais.