Aprendizagem Contrastiva para PLN — Aprendendo Representações de Texto por Contraste

Aprendizagem contrastiva para PLN é uma técnica de aprendizado de representação — popularizada por SimCSE (Gao et al., 2021) e Aprendizagem Contrastiva Supervisionada (Khosla et al., 2020) — que treina um codificador de texto aproximando os embeddings de pares de texto similares e afastando os embeddings de pares dissimilares. O resultado é um espaço de embedding denso e de alta qualidade que pode ser aprendido sem rótulos, ou com supervisão mínima, tornando-o especialmente valioso quando dados anotados são escassos.