Destilace znalostí
Destilace znalostí je technika komprese modelů, představená Geoffreyem Hintonem a kolegy v roce 2015, která trénuje malý studentský model pomocí výstupů s měkkými popisky velkého učitelského modelu. Destilované modely jako DistilBERT a TinyBERT dosahují zhruba 97 % výkonu většího modelu a přitom běží mnohem rychleji.
Přečíst celou metodu
Pro přečtení této sekce se přihlaste s bezplatným účtem.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Zdroje
Jak citovat tuto stránku
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/cs/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdHluboké učení↔ compare
- Směs expertůHluboké učení↔ compare
- Random ForestStrojové učení↔ compare
- Vizuální kontrastivní učeníHluboké učení↔ compare
- XGBoostStrojové učení↔ compare
Odkazuje sem
Našli jste na této stránce chybu? Nahlaste ji nebo navrhněte opravu →