Self-supervised Transfer learning
Self-supervised transfer learning combines two powerful paradigms: a model first learns rich representations from unlabeled data using self-supervised pretext tasks, then those learned representations are transferred and fine-tuned on a downstream task with limited labeled data. This approach underlies landmark systems such as BERT in NLP and SimCLR and DINO in computer vision, dramatically reducing labeled-data requirements across many domains.
Record di origine
Citazioni copiate testualmente dal record di origine del metodo. Non si inferisce alcuna verifica a livello di affermazione da esse.
- Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning (ICML), PMLR 119, 1597–1607. · URL
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT 2019, 4171–4186. Association for Computational Linguistics. · DOI 10.18653/v1/N19-1423
Affermazioni curate
Affermazioni persistite nel registro delle evidenze, ciascuna con la propria valutazione.
Questa vista non inventa una valutazione dell'affermazione quando il registro non ne ha.
Metodi correlati
Generato dal grafo dei metodi e mostrato come relazioni suggerite dalla macchina — nessuna affermazione di evidenza viene inferita.