Pembelajaran Kontrastif untuk NLP — Mempelajari Representasi Teks melalui Kontras

Pembelajaran kontrastif untuk NLP ialah teknik pembelajaran representasi — dipopularkan oleh SimCSE (Gao et al., 2021) dan Supervised Contrastive Learning (Khosla et al., 2020) — yang melatih pengekod teks dengan menarik vektor penyesuaian (embedding) pasangan teks serupa bersama-sama sambil menolak vektor penyesuaian pasangan yang tidak serupa. Hasilnya ialah ruang vektor penyesuaian yang padat dan berkualiti tinggi yang boleh dipelajari tanpa sebarang label, atau dengan pengawasan minimum, menjadikannya amat berharga apabila data beranotasi jarang ditemui.