Адаптивно към домейна класифициране, базирано на BERT

Адаптивното към домейна класифициране, базирано на BERT, разширява стандартния процес на фино настройване, като първо продължава предварителното обучение на BERT с модел за маскиран език върху голям корпус от немаркирани текстове в съответния домейн, след което адаптираният модел се фино настройва върху маркирани примери за целевата класификационна задача. Този двуетапен подход преодолява празнината в речника и разпределението между общия корпус за предварително обучение на BERT и специализирани домейни като биомедицина, право, финанси или текстове от социални медии.