Pembelajaran Kontrastif untuk NLP — Mempelajari Representasi Teks melalui Kontras

Pembelajaran kontrastif untuk NLP adalah teknik pembelajaran representasi — dipopulerkan oleh SimCSE (Gao et al., 2021) dan Supervised Contrastive Learning (Khosla et al., 2020) — yang melatih pengode teks dengan menarik embedding pasangan teks serupa bersama-sama sambil mendorong embedding pasangan yang tidak serupa berjauhan. Hasilnya adalah ruang embedding yang padat dan berkualitas tinggi yang dapat dipelajari tanpa label sama sekali, atau dengan pengawasan minimal, menjadikannya sangat berharga ketika data beranotasi langka.