Kunskapsdestillering
Kunskapsdestillering är en modellkomprimeringsteknik, introducerad av Geoffrey Hinton och kollegor 2015, som tränar en liten studentmodell med hjälp av mjuketikettutdata från en stor lärarmodell. Destillerade modeller som DistilBERT och TinyBERT når ungefär 97% av den större modellens prestanda samtidigt som de körs mycket snabbare.
Läs hela metoden
Logga in med ett kostnadsfritt konto för att läsa avsnittet.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Källor
Så citerar du den här sidan
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/sv/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdDjupinlärning↔ compare
- Blandning av experterDjupinlärning↔ compare
- Random ForestMaskininlärning↔ compare
- Visuell kontrastiv inlärningDjupinlärning↔ compare
- XGBoostMaskininlärning↔ compare
Refereras av
Hittade du ett fel på sidan? Rapportera eller föreslå en rättelse →