Selv-overvåget transfer learning
Selv-overvåget transfer learning kombinerer to kraftfulde paradigmer: en model lærer først rige repræsentationer fra umærkede data ved hjælp af selv-superviserede forløbsopgaver (pretext tasks), hvorefter de lærte repræsentationer overføres og finjusteres på en efterfølgende opgave (downstream task) med begrænsede mærkede data. Denne tilgang ligger til grund for banebrydende systemer som BERT inden for NLP og SimCLR og DINO inden for computer vision, hvilket dramatisk reducerer kravet til mærkede data på tværs af mange domæner.
Læs hele metoden
Log ind med en gratis konto for at læse dette afsnit.
Method map
The neighbourhood of related methods — select a node to explore.
Kilder
- Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning (ICML), PMLR 119, 1597–1607. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT 2019, 4171–4186. Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Sådan citerer du denne side
ScholarGate. (2026, June 3). Self-supervised Pre-training for Transfer Learning. ScholarGate. https://scholargate.app/da/machine-learning/self-supervised-transfer-learning
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Few-shot LearningMaskinlæring↔ compare
- Metrisk LæringMaskinlæring↔ compare
- Selv-superviseret få-skuds læringMaskinlæring↔ compare
- Selvovervåget læringMaskinlæring↔ compare
- Semi-supervised LearningMaskinlæring↔ compare
- OverførselslæringMaskinlæring↔ compare
Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →