Contrastive Learning for NLP
Contrastive learning for NLP is a representation-learning technique — popularised by SimCSE (Gao et al., 2021) and Supervised Contrastive Learning (Khosla et al., 2020) — that trains a text encoder by pulling embeddings of similar text pairs together while pushing embeddings of dissimilar pairs apart. The result is a dense, high-quality embedding space that can be learned with no labels at all, or with minimal supervision, making it especially valuable when annotated data are scarce.
Запис джерела
Цитати скопійовано дослівно з вихідного запису методу. Вони не передбачають перевірки на рівні тверджень.
- Gao, T., Yao, X., & Chen, D. (2021). SimCSE: Simple Contrastive Learning of Sentence Embeddings. Proceedings of EMNLP 2021. · URL
- Khosla, P., et al. (2020). Supervised Contrastive Learning. Advances in Neural Information Processing Systems (NeurIPS) 33. · URL
Відібрані твердження
Твердження збережено в журналі доказів, кожне зі своєю оцінкою.
Цей перегляд не вигадує оцінку твердження, якщо в журналі її немає.
Пов'язані методи
Згенеровано з графа методів і показано як рекомендовані системою зв'язки — жодне твердження доказів не передбачається.