Aprenentatge contrastiu per a PLN — Aprenentatge de representacions de text mitjançant contrast

L'aprenentatge contrastiu per a PLN és una tècnica d'aprenentatge de representacions —popularitzada per SimCSE (Gao et al., 2021) i Supervised Contrastive Learning (Khosla et al., 2020)— que entrena un codificador de text unint els embeddings de parells de text similars i separant els embeddings de parells dissimilars. El resultat és un espai d'embeddings dens i d'alta qualitat que es pot aprendre sense cap etiqueta, o amb una supervisió mínima, cosa que el fa especialment valuós quan les dades anotades són escasses.