Învățarea contrastivă pentru NLP — Învățarea reprezentărilor textuale prin contrast

Învățarea contrastivă pentru NLP este o tehnică de învățare a reprezentărilor — popularizată de SimCSE (Gao et al., 2021) și Supervised Contrastive Learning (Khosla et al., 2020) — care antrenează un codificator de text prin apropierea embeddingurilor perechilor de text similare și îndepărtarea embeddingurilor perechilor disimilare. Rezultatul este un spațiu de embedding dens, de înaltă calitate, care poate fi învățat fără etichete, sau cu supraveghere minimă, făcându-l deosebit de valoros atunci când datele adnotate sunt rare.