NLPにおける対照学習 — テキスト表現の学習による表現獲得

NLPにおける対照学習は、表現学習技術であり、SimCSE (Gao et al., 2021) や Supervised Contrastive Learning (Khosla et al., 2020) によって普及しました。これは、類似したテキストペアの埋め込みを近づけ、類似しないペアの埋め込みを遠ざけるようにテキストエンコーダを訓練するものです。その結果、ラベルなし、あるいは最小限の教師あり学習で獲得できる、高密度で高品質な埋め込み空間が得られ、注釈付きデータが不足している場合に特に価値があります。