Self-supervised Transfer learning
Self-supervised transfer learning combines two powerful paradigms: a model first learns rich representations from unlabeled data using self-supervised pretext tasks, then those learned representations are transferred and fine-tuned on a downstream task with limited labeled data. This approach underlies landmark systems such as BERT in NLP and SimCLR and DINO in computer vision, dramatically reducing labeled-data requirements across many domains.
Registro de origem
Citações copiadas literalmente do registro de origem do método. Nenhuma verificação em nível de alegação é inferida delas.
- Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning (ICML), PMLR 119, 1597–1607. · URL
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT 2019, 4171–4186. Association for Computational Linguistics. · DOI 10.18653/v1/N19-1423
Alegações curadas
Alegações persistidas no livro-razão de evidências, cada uma com sua própria avaliação.
Esta visualização não inventa uma avaliação de alegação quando o livro-razão não a possui.
Métodos relacionados
Gerado a partir do grafo de métodos e mostrado como relações sugeridas por máquina — nenhuma alegação de evidência é inferida.