Kontrastívne učenie pre NLP — učenie textových reprezentácií pomocou kontrastu

Kontrastívne učenie pre NLP je technika učenia reprezentácií — spopularizovaná metódami SimCSE (Gao et al., 2021) a Supervised Contrastive Learning (Khosla et al., 2020) — ktorá trénuje textový enkodér tak, že pritiahne vkladané reprezentácie (embeddings) párov podobných textov k sebe a zároveň odstrčí vkladané reprezentácie párov nepodobných textov od seba. Výsledkom je hustý, vysokokvalitný priestor vkladaných reprezentácií, ktorý sa dá naučiť bez akýchkoľvek označení (labels) alebo s minimálnou supervíziou, čo ho robí obzvlášť cenným, keď sú anotované údaje vzácne.