Self-supervised Transfer learning
Self-supervised transfer learning combines two powerful paradigms: a model first learns rich representations from unlabeled data using self-supervised pretext tasks, then those learned representations are transferred and fine-tuned on a downstream task with limited labeled data. This approach underlies landmark systems such as BERT in NLP and SimCLR and DINO in computer vision, dramatically reducing labeled-data requirements across many domains.
Lähdetietue
Sitaatit kopioitu sanatarkasti metodin lähdetietueesta. Niistä ei päätellä väitteiden tasoista varmennusta.
- Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning (ICML), PMLR 119, 1597–1607. · URL
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT 2019, 4171–4186. Association for Computational Linguistics. · DOI 10.18653/v1/N19-1423
Kuratoituja väitteitä
Väitteet tallennettu todistusaineiston pääkirjaan, jokaisella oma arviointinsa.
Tämä näkymä ei keksi väitteen arviointia, jos pääkirjassa ei ole sitä.
Liittyvät metodit
Luotu metodigraafista ja näytetään koneen ehdottamina suhteina – väitteitä ei päätellä.