Klasifikace založená na BERT s adaptací na doménu

Klasifikace založená na BERT s adaptací na doménu rozšiřuje standardní postup jemného doladění tím, že nejprve pokračuje v předtrénování modelu BERT pomocí maskovaného jazykového modelu na rozsáhlém korpusu neoznačených dat v dané doméně a poté doladí adaptovaný model na označených příkladech pro cílovou klasifikační úlohu. Tento dvoufázový přístup překlenuje rozdíl ve slovní zásobě a distribuci mezi obecným předtrénovacím korpusem modelu BERT a specializovanými doménami, jako je biomedicína, právo, finance nebo texty ze sociálních médií.