Kontrastiv læring for NLP — Læring af tekstrepræsentationer gennem kontrast

Kontrastiv læring for NLP (Natural Language Processing) er en teknik til indlæring af repræsentationer – populariseret af SimCSE (Gao et al., 2021) og Supervised Contrastive Learning (Khosla et al., 2020) – der træner en tekst-encoder ved at trække indlejringer af lignende tekstpar tættere sammen, samtidig med at indlejringer af uens par skubbes fra hinanden. Resultatet er et tæt indlejringsrum af høj kvalitet, som kan læres uden nogen etiketter overhovedet, eller med minimal supervision, hvilket gør det særligt værdifuldt, når annoterede data er knappe.