Wissensdestillation
Wissensdestillation ist eine Technik zur Modellkomprimierung, die 2015 von Geoffrey Hinton und Kollegen eingeführt wurde und ein kleines Studentenmodell mithilfe der Soft-Label-Ausgaben eines großen Lehrermodells trainiert. Destillierte Modelle wie DistilBERT und TinyBERT erreichen etwa 97 % der Leistung des größeren Modells, während sie weitaus schneller laufen.
Die vollständige Methode lesen
Melden Sie sich mit einem kostenlosen Konto an, um diesen Abschnitt zu lesen.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Quellen
So zitieren Sie diese Seite
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/de/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdDeep Learning↔ compare
- Mixture of ExpertsDeep Learning↔ compare
- Random ForestMaschinelles Lernen↔ compare
- Visuelles kontrastives LernenDeep Learning↔ compare
- XGBoostMaschinelles Lernen↔ compare
Referenziert von
Einen Fehler auf dieser Seite entdeckt? Melden oder Korrektur vorschlagen →