Адаптация BERT-модели к домену на основе классификации

Адаптация BERT-модели к домену на основе классификации расширяет стандартный конвейер дообучения, сначала продолжая предварительное обучение BERT на основе маскированной языковой модели на большом корпусе неразмеченных текстов из целевого домена, а затем дообучая адаптированную модель на размеченных примерах для целевой задачи классификации. Этот двухэтапный подход устраняет разрыв в словарном запасе и распределении между общим корпусом предварительного обучения BERT и специализированными доменами, такими как биомедицина, право, финансы или тексты из социальных сетей.