Μοντελοποίηση θεμάτων με αυτο-εποπτευόμενη μάθηση

Η μοντελοποίηση θεμάτων με αυτο-εποπτευόμενη μάθηση συνδυάζει την ερμηνεύσιμη ανακάλυψη θεμάτων των κλασικών μοντέλων θεμάτων με αυτο-εποπτευόμενους στόχους μάθησης — όπως η αντιθετική απώλεια (contrastive loss), η μοντελοποίηση γλώσσας με μάσκες (masked language modeling) ή η ανακατασκευή (reconstruction) — για την εκμάθηση συνεκτικών, σημασιολογικά πλούσιων θεμάτων από μη επισημασμένα κείμενα χωρίς ανθρώπινες επισημάνσεις. Γεφυρώνει τα κλασικά πιθανοτικά μοντέλα θεμάτων και τη σύγχρονη μάθηση αναπαραστάσεων, αποδίδοντας θέματα καλύτερα ευθυγραμμισμένα με το εννοιολογικό νόημα.