Topic modeling auto-supervisionato

Il topic modeling auto-supervisionato combina la scoperta di topic interpretabili dei modelli di topic classici con obiettivi di apprendimento auto-supervisionato — come la loss contrastiva, il masked language modeling o la ricostruzione — per apprendere topic coerenti e semanticamente ricchi da testo non etichettato, senza etichette annotate dall'uomo. Colma il divario tra i modelli probabilistici di topic classici e l'apprendimento moderno delle rappresentazioni, producendo topic meglio allineati con il significato contestuale.