Aprendizaje contrastivo para PNL — Aprendizaje de representaciones de texto mediante contraste

El aprendizaje contrastivo para PNL es una técnica de aprendizaje de representaciones —popularizada por SimCSE (Gao et al., 2021) y Supervised Contrastive Learning (Khosla et al., 2020)— que entrena un codificador de texto acercando las incrustaciones de pares de texto similares y alejando las de pares disimilares. El resultado es un espacio de incrustaciones denso y de alta calidad que puede aprenderse sin etiquetas, o con supervisión mínima, lo que lo hace especialmente valioso cuando los datos anotados son escasos.