对比学习在自然语言处理中的应用——通过对比学习文本表示

自然语言处理中的对比学习是一种表示学习技术——由SimCSE（Gao等，2021）和监督对比学习（Khosla等，2020）推广——通过将相似文本对的嵌入拉近，同时将不相似文本对的嵌入推远来训练文本编码器。其结果是一个密集、高质量的嵌入空间，该空间可以完全无监督地学习，或仅需少量监督即可学习，因此在标注数据稀缺时尤其有价值。