Kennisdestillatie
Kennisdestillatie is een modelcompressietechniek, geïntroduceerd door Geoffrey Hinton en collega's in 2015, die een klein studentmodel traint met behulp van de soft-label outputs van een groot leermeestermodel. Gedestilleerde modellen zoals DistilBERT en TinyBERT bereiken ongeveer 97% van de prestaties van het grotere model, terwijl ze veel sneller werken.
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Bronnen
Deze pagina citeren
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/nl/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdDeep learning↔ compare
- Mixture of ExpertsDeep learning↔ compare
- Random ForestMachine learning↔ compare
- Visueel contrastief lerenDeep learning↔ compare
- XGBoostMachine learning↔ compare
Geciteerd door
Een fout op deze pagina gezien? Meld het of stel een correctie voor →