Kontrasztív tanulás a természetes nyelvi feldolgozásban (NLP) — Szövegreprezentációk tanulása kontraszt alapján

Az NLP-ben alkalmazott kontrasztív tanulás egy reprezentációtanulási technika — amelyet a SimCSE (Gao et al., 2021) és a felügyelt kontrasztív tanulás (Supervised Contrastive Learning, Khosla et al., 2020) tett népszerűvé —, amely úgy képez egy szövegkódolót, hogy a hasonló szövegpárok beágyazásait közelebb húzza egymáshoz, miközben a különböző párok beágyazásait eltávolítja egymástól. Az eredmény egy sűrű, kiváló minőségű beágyazási tér, amely címkék nélkül, vagy minimális felügyelettel is megtanulható, így különösen értékes, ha a címkézett adatok szűkösek.