Klasyfikacja oparta na domenowo adaptowanym modelu BERT

Klasyfikacja oparta na domenowo adaptowanym modelu BERT rozszerza standardowy proces dostrajania (fine-tuning) poprzez wcześniejsze kontynuowanie wstępnego trenowania modelu BERT w zadaniu maskowanego modelowania języka (masked-language-model pre-training) na dużym korpusie nieetykietowanych tekstów z danej dziedziny, a następnie dostrajanie zaadaptowanego modelu na etykietowanych przykładach dla docelowego zadania klasyfikacji. To dwuetapowe podejście niweluje lukę w słownictwie i rozkładzie dystrybucji między ogólnym korpusem wstępnego trenowania modelu BERT a specjalistycznymi dziedzinami, takimi jak biomedycyna, prawo, finanse czy teksty z mediów społecznościowych.