Knowledge Distillation
Knowledge Distillation er en modelkomprimeringsteknik, introduceret af Geoffrey Hinton og kolleger i 2015, der træner en lille studentermodel ved hjælp af soft-label-output fra en stor teachermodel. Destillerede modeller som DistilBERT og TinyBERT opnår ca. 97% af den større models ydeevne, mens de kører langt hurtigere.
Læs hele metoden
Log ind med en gratis konto for at læse dette afsnit.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Kilder
Sådan citerer du denne side
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/da/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdDyb læring↔ compare
- Mixture of ExpertsDyb læring↔ compare
- Random ForestMaskinlæring↔ compare
- Visuel kontrastiv læringDyb læring↔ compare
- XGBoostMaskinlæring↔ compare
Refereret af
Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →