Kontrastives Lernen für NLP — Lernen von Textrepräsentationen durch Kontrast

Kontrastives Lernen für NLP ist eine Technik zum Erlernen von Repräsentationen – popularisiert durch SimCSE (Gao et al., 2021) und Supervised Contrastive Learning (Khosla et al., 2020) –, die einen Text-Encoder trainiert, indem sie Einbettungen ähnlicher Textpaare zusammenzieht und Einbettungen unähnlicher Paare auseinanderschiebt. Das Ergebnis ist ein dichter, qualitativ hochwertiger Einbettungsraum, der ganz ohne Labels oder mit minimaler Supervision erlernt werden kann, was ihn besonders wertvoll macht, wenn annotierte Daten knapp sind.