Μάθηση Αναπαραστάσεων Κειμένου μέσω Αντίθεσης (Contrastive Learning for NLP)

Η Μάθηση Αναπαραστάσεων Κειμένου μέσω Αντίθεσης (Contrastive learning for NLP) είναι μια τεχνική μάθησης αναπαραστάσεων — δημοφιλής χάρη στα SimCSE (Gao et al., 2021) και Supervised Contrastive Learning (Khosla et al., 2020) — η οποία εκπαιδεύει έναν κωδικοποιητή κειμένου, φέρνοντας κοντά τις αναπαραστάσεις (embeddings) παρόμοιων ζευγών κειμένων, ενώ ταυτόχρονα απωθεί τις αναπαραστάσεις ανομοίων ζευγών. Το αποτέλεσμα είναι ένας πυκνός, υψηλής ποιότητας χώρος αναπαραστάσεων που μπορεί να μάθει χωρίς καθόλου ετικέτες, ή με ελάχιστη εποπτεία, καθιστώντας την ιδιαίτερα πολύτιμη όταν τα επισημασμένα δεδομένα είναι σπάνια.