NLP를 위한 대조 학습 — 대조를 통한 텍스트 표현 학습

NLP를 위한 대조 학습은 텍스트 인코더를 훈련하는 표현 학습 기법으로, SimCSE(Gao et al., 2021)와 지도 대조 학습(Khosla et al., 2020)에 의해 대중화되었습니다. 이 기법은 유사한 텍스트 쌍의 임베딩을 가깝게 끌어당기고 유사하지 않은 쌍의 임베딩을 멀리 밀어냄으로써 텍스트 인코더를 훈련합니다. 그 결과, 레이블 없이 또는 최소한의 지도 학습으로 학습할 수 있는 고품질의 밀집된 임베딩 공간이 생성되며, 이는 주석이 달린 데이터가 부족할 때 특히 유용합니다.