A tudásdesztilláció
A tudásdesztilláció egy modellkompressziós technika, amelyet Geoffrey Hinton és kollégái vezettek be 2015-ben. Ez egy kis tanítvány modellt képez egy nagy tanár modell lágy címkével ellátott kimeneteinek felhasználásával. Az olyan desztillált modellek, mint a DistilBERT és a TinyBERT, a nagyobb modell teljesítményének nagyjából 97%-át érik el, miközben lényegesen gyorsabban futnak.
A teljes módszer elolvasása
Jelentkezzen be ingyenes fiókkal a szakasz elolvasásához.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Források
Hogyan hivatkozzon erre az oldalra
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/hu/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdMélytanulás↔ compare
- Szakértők keverékeMélytanulás↔ compare
- Véletlen erdőGépi tanulás↔ compare
- Vizuális kontrasztív tanulásMélytanulás↔ compare
- XGBoostGépi tanulás↔ compare
Hivatkozik rá
Hibát talált ezen az oldalon? Jelentse, vagy javasoljon javítást →