Contrastive Learning for NLP
Contrastive learning for NLP is a representation-learning technique — popularised by SimCSE (Gao et al., 2021) and Supervised Contrastive Learning (Khosla et al., 2020) — that trains a text encoder by pulling embeddings of similar text pairs together while pushing embeddings of dissimilar pairs apart. The result is a dense, high-quality embedding space that can be learned with no labels at all, or with minimal supervision, making it especially valuable when annotated data are scarce.
Regjistri burimor
Citimet kopjuar fjalë për fjalë nga regjistri burimor i metodës. Asnjë verifikim në nivel pretendimi nuk nënkuptohet prej tyre.
- Gao, T., Yao, X., & Chen, D. (2021). SimCSE: Simple Contrastive Learning of Sentence Embeddings. Proceedings of EMNLP 2021. · URL
- Khosla, P., et al. (2020). Supervised Contrastive Learning. Advances in Neural Information Processing Systems (NeurIPS) 33. · URL
Pretendime të kuruaruara
Pretendimet e ruajtura në librin e dëshmive, secili me vlerësimin e vet.
Ky pamje nuk shpik një vlerësim pretendimi kur libri i dëshmive nuk ka asnjë.
Metoda të lidhura
Të gjeneruara nga grafiku metodologjik dhe të paraqitura si marrëdhënie të sugjeruara nga makina — asnjë pretendim dëshmie nuk nënkuptohet.