Knowledge Distillation
Knowledge Distillation je technika kompresie modelu, ktorú v roku 2015 predstavili Geoffrey Hinton a kolegovia. Trénuje malý študentský model pomocou výstupov s jemnými označeniami (soft-label outputs) veľkého učiteľského modelu. Destilované modely ako DistilBERT a TinyBERT dosahujú približne 97 % výkonu väčšieho modelu, pričom bežia oveľa rýchlejšie.
Prečítať celú metódu
Ak si chcete prečítať túto sekciu, prihláste sa s bezplatným účtom.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Zdroje
Ako citovať túto stránku
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/sk/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdHlboké učenie↔ compare
- Zmes expertovHlboké učenie↔ compare
- Náhodný lesStrojové učenie↔ compare
- Vizuálne kontrastné učenieHlboké učenie↔ compare
- XGBoostStrojové učenie↔ compare
Odkazujú sem
Našli ste na tejto stránke chybu? Nahláste ju alebo navrhnite opravu →