Domenski prilagođena klasifikacija utemeljena na BERT-u

Domenski prilagođena klasifikacija utemeljena na BERT-u proširuje standardni postupak finog ugađanja (fine-tuning) tako što prvo nastavlja BERT-ovo pred-treniranje s maskiranim jezičnim modelom (masked-language-model pre-training) na velikom korpusu neoznačenih tekstova iz ciljne domene, a zatim fino ugađa prilagođeni model na označenim primjerima za ciljni zadatak klasifikacije. Ovaj dvostupanjski pristup premošćuje jaz u vokabularu i distribuciji između BERT-ovog općeg korpusa za pred-treniranje i specijaliziranih domena poput biomedicine, prava, financija ili tekstova na društvenim mrežama.