Self-supervised Transfer learning
Self-supervised transfer learning combines two powerful paradigms: a model first learns rich representations from unlabeled data using self-supervised pretext tasks, then those learned representations are transferred and fine-tuned on a downstream task with limited labeled data. This approach underlies landmark systems such as BERT in NLP and SimCLR and DINO in computer vision, dramatically reducing labeled-data requirements across many domains.
Dossier source
Citations copiées telles quelles du dossier source de la méthode. Aucune vérification au niveau de la revendication n'en est déduite.
- Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning (ICML), PMLR 119, 1597–1607. · URL
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT 2019, 4171–4186. Association for Computational Linguistics. · DOI 10.18653/v1/N19-1423
Revendications organisées
Revendications enregistrées dans le registre de preuves, chacune avec sa propre évaluation.
Cette vue n'invente pas d'évaluation de revendication lorsque le registre n'en contient aucune.
Méthodes apparentées
Généré à partir du graphe de méthodes et présenté comme des relations suggérées par la machine — aucune revendication de preuve n'est déduite.