Kontrastiv læring for NLP – Læring av tekstrepresentasjoner gjennom kontrast

Kontrastiv læring for NLP er en teknikk for representasjonslæring – popularisert av SimCSE (Gao et al., 2021) og Supervised Contrastive Learning (Khosla et al., 2020) – som trener en tekstkoder ved å trekke sammen "embeddings" av lignende tekstpar, samtidig som den skyver fra hverandre "embeddings" av ulike par. Resultatet er et tett, høykvalitets "embedding"-rom som kan læres uten noen etiketter i det hele tatt, eller med minimalt tilsyn, noe som gjør det spesielt verdifullt når annoterte data er knappe.