Domain-adaptive BERT-based Classification

A domain-adaptív BERT-alapú osztályozás a standard finomhangolási (fine-tuning) folyamatot úgy bővíti ki, hogy először folytatja a BERT maszkolt nyelvmodell (masked-language-model, MLM) előképzését egy nagy, doméntartalmú, címkézetlen szövegkorpuszon, majd az adaptált modellt címkézett példákon finomhangolja a célosztályozási feladatra. Ez a kétlépcsős megközelítés áthidalja a BERT általános előképzési korpusza és az olyan speciális domének, mint az orvosbiológia, jog, pénzügy vagy közösségi média szövegei közötti szókincsbeli és eloszlásbeli különbséget.