Контрастное обучение для обработки естественного языка — обучение представлений текста путем контраста

Контрастное обучение для обработки естественного языка (NLP) — это метод обучения представлений, популяризированный SimCSE (Gao et al., 2021) и Supervised Contrastive Learning (Khosla et al., 2020), который обучает текстовый кодер, сближая эмбеддинги похожих пар текстов и отдаляя эмбеддинги непохожих пар. Результатом является плотное, высококачественное пространство эмбеддингов, которое может быть обучено без каких-либо меток или с минимальным надзором, что делает его особенно ценным при нехватке аннотированных данных.