Self-supervised Transfer learning
Self-supervised transfer learning combines two powerful paradigms: a model first learns rich representations from unlabeled data using self-supervised pretext tasks, then those learned representations are transferred and fine-tuned on a downstream task with limited labeled data. This approach underlies landmark systems such as BERT in NLP and SimCLR and DINO in computer vision, dramatically reducing labeled-data requirements across many domains.
Avota reģistrs
Atsauces kopētas tieši no metodes avota reģistra. Tās nenozīmē nekādu apgalvojumu līmeņa verifikāciju.
- Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning (ICML), PMLR 119, 1597–1607. · URL
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT 2019, 4171–4186. Association for Computational Linguistics. · DOI 10.18653/v1/N19-1423
Kurēti apgalvojumi
Apgalvojumi saglabāti pierādījumu reģistrā, katram ar savu novērtējumu.
Šis skatījums neizgudro apgalvojumu novērtējumu, ja reģistrā tā nav.
Saistītās metodes
Ģenerēts no metodes grafika un parādīts kā mašīnas ieteiktas attiecības — netiek izvirzīts neviens pierādījumu apgalvojums.