Klasifikasi Berasaskan BERT Adaptif Domain

Klasifikasi berasaskan BERT adaptif domain (Domain-adaptive BERT-based classification) melanjutkan saluran penalaan halus (fine-tuning) standard dengan terlebih dahulu meneruskan prapelatihan model bahasa bertopeng (masked-language-model) BERT pada korpus besar teks tidak berlabel dalam domain tertentu, kemudian menala halus model yang diadaptasi pada contoh berlabel untuk tugas klasifikasi sasaran. Pendekatan dua peringkat ini menutup jurang perbendaharaan kata dan taburan antara korpus prapelatihan umum BERT dan domain khusus seperti bioperubatan, undang-undang, kewangan, atau teks media sosial.