Apprentissage contrastif pour le TALN — Apprendre des représentations textuelles par contraste

L'apprentissage contrastif pour le TALN est une technique d'apprentissage de représentations — popularisée par SimCSE (Gao et al., 2021) et Supervised Contrastive Learning (Khosla et al., 2020) — qui entraîne un encodeur de texte en rapprochant les plongements (embeddings) de paires de textes similaires tout en éloignant les plongements de paires dissimilaires. Le résultat est un espace de plongement dense et de haute qualité qui peut être appris sans aucune étiquette, ou avec une supervision minimale, ce qui le rend particulièrement précieux lorsque les données annotées sont rares.