Contrastive Learning voor NLP — Tekstrepresentaties Leren door Contrast

Contrastive learning voor NLP is een techniek voor representatie-leren — gepopulariseerd door SimCSE (Gao et al., 2021) en Supervised Contrastive Learning (Khosla et al., 2020) — die een tekstencoder traint door embeddings van vergelijkbare tekstparen dichter bij elkaar te brengen, terwijl embeddings van ongelijksoortige paren uit elkaar worden geduwd. Het resultaat is een dichte, hoogwaardige embeddingruimte die zonder labels of met minimale supervisie kan worden geleerd, wat het bijzonder waardevol maakt wanneer geannoteerde data schaars zijn.