Clasificare bazată pe BERT adaptată domeniului

Clasificarea bazată pe BERT adaptată domeniului extinde procesul standard de reglaj fin (fine-tuning) prin continuarea, în primă instanță, a pre-antrenamentului BERT de tip model lingvistic mascat (masked-language-model) pe un corpus mare de text neetichetat din domeniu, apoi prin reglajul fin al modelului adaptat pe exemple etichetate pentru sarcina de clasificare vizată. Această abordare în două etape reduce decalajul de vocabular și distribuțional dintre corpusul general de pre-antrenament al BERT și domeniile specializate, cum ar fi biomedicina, dreptul, finanțele sau textul din rețelele sociale.