Kontrastivno učenje za NLP — učenje tekstualnih reprezentacija kontrastom

Kontrastivno učenje za NLP tehnika je učenja reprezentacija — popularizirana od strane SimCSE (Gao et al., 2021) i Supervised Contrastive Learning (Khosla et al., 2020) — koja trenira tekstualni enkoder privlačenjem ugrađenih vektora sličnih parova teksta dok istovremeno odbija ugrađene vektore različitih parova. Rezultat je gusti, visokokvalitetni prostor ugrađenih vektora koji se može naučiti bez ikakvih oznaka ili s minimalnim nadzorom, što ga čini posebno vrijednim kada su anotirani podaci oskudni.