Domänenadaptives BERT-basiertes Klassifizieren

Domänenadaptives BERT-basiertes Klassifizieren erweitert die Standard-Feinabstimmungs-Pipeline, indem zunächst das Masked-Language-Model-Pre-Training von BERT auf einem großen Korpus von unbeschrifteten Texten aus der Zieldomäne fortgesetzt wird, und dann das angepasste Modell auf beschrifteten Beispielen für die Zielklassifikationsaufgabe feinabgestimmt wird. Dieser zweistufige Ansatz schließt die Vokabular- und Verteilungs-Lücke zwischen dem allgemeinen Pre-Training-Korpus von BERT und spezialisierten Domänen wie Biomedizin, Recht, Finanzen oder Social-Media-Texten.