Doménovo-adaptívna klasifikácia založená na modeli BERT

Doménovo-adaptívna klasifikácia založená na modeli BERT rozširuje štandardný postup jemného doladenia (fine-tuning) tým, že najprv pokračuje v predtrénovaní modelu BERT pomocou modelu s maskovaným jazykom (masked-language-model pre-training) na rozsiahlej neoznačenej textovej korpuse z cieľovej domény, a potom doladí adaptovaný model na označených príkladoch pre cieľovú klasifikačnú úlohu. Tento dvojstupňový prístup preklenuje slovníkovú a distribučnú medzeru medzi všeobecným predtrénovacím korpusom modelu BERT a špecializovanými doménami, ako je biomedicína, právo, financie alebo texty zo sociálnych médií.