Контрастне навчання для НЛП — Навчання текстових представлень за допомогою контрасту

Контрастне навчання для НЛП — це метод навчання представлень, популяризований SimCSE (Gao et al., 2021) та Supervised Contrastive Learning (Khosla et al., 2020), який тренує текстовий кодувальник, зближуючи вбудовування схожих текстових пар і відштовхуючи вбудовування несхожих пар. Результатом є щільний, високоякісний простір вбудовувань, який можна навчити без жодних міток або з мінімальним наглядом, що робить його особливо цінним, коли анотовані дані є дефіцитними.