Self-supervised Transfer learning
Self-supervised transfer learning combines two powerful paradigms: a model first learns rich representations from unlabeled data using self-supervised pretext tasks, then those learned representations are transferred and fine-tuned on a downstream task with limited labeled data. This approach underlies landmark systems such as BERT in NLP and SimCLR and DINO in computer vision, dramatically reducing labeled-data requirements across many domains.
Registro de origen
Citas copiadas textualmente del registro de origen del método. No se infiere ninguna verificación a nivel de afirmación de ellas.
- Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning (ICML), PMLR 119, 1597–1607. · URL
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT 2019, 4171–4186. Association for Computational Linguistics. · DOI 10.18653/v1/N19-1423
Afirmaciones curadas
Afirmaciones persistidas en el libro mayor de evidencia, cada una con su propia evaluación.
Esta vista no inventa una evaluación de afirmación si el libro mayor no tiene ninguna.
Métodos relacionados
Generado a partir del grafo de métodos y mostrado como relaciones sugeridas por la máquina; no se infiere ninguna afirmación de evidencia.