Kontrastiv inlärning för NLP — att lära textrepresentationer genom kontrast

Kontrastiv inlärning för NLP är en teknik för representationsinlärning — populariserad av SimCSE (Gao et al., 2021) och Supervised Contrastive Learning (Khosla et al., 2020) — som tränar en textkodare genom att dra inbäddningar av liknande textpar närmare varandra samtidigt som inbäddningar av olika par trycks isär. Resultatet är ett tätt, högkvalitativt inbäddningsutrymme som kan läras utan några etiketter alls, eller med minimal övervakning, vilket gör det särskilt värdefullt när annoterad data är knapp.