Selv-overvåget emnemodellering

Selv-overvåget emnemodellering kombinerer den fortolkelige emneopdagelse fra klassiske emnemodeller med selv-overvågede læringsmål — såsom kontrastivt tab, maskeret sprogmodellering eller rekonstruktion — for at lære sammenhængende, semantisk rige emner fra umærket tekst uden menneskeskabte etiketter. Den bygger bro mellem klassiske probabilistiske emnemodeller og moderne repræsentationslæring, hvilket resulterer i emner, der er bedre afstemt med kontekstuel betydning.