Контрастивно обучение за НЛП — научаване на текстови представяния чрез контраст

Контрастивното обучение за НЛП е техника за научаване на представяния — популяризирана от SimCSE (Gao et al., 2021) и Supervised Contrastive Learning (Khosla et al., 2020) — която обучава текстов енкодер чрез приближаване на вгражданията на сходни текстови двойки и отдалечаване на вгражданията на различни двойки. Резултатът е плътно, висококачествено пространство на вгражданията, което може да бъде научено без никакви етикети или с минимална надзорност, което го прави особено ценно, когато анотираните данни са оскъдни.