Zināšanu destilācija
Zināšanu destilācija ir modeļu kompresijas paņēmiens, ko 2015. gadā ieviesa Džefrijs Hintons un kolēģi, un kas apmāca mazu studentu modeli, izmantojot liela skolotāja modeļa mīkstās izvades. Destilētie modeļi, piemēram, DistilBERT un TinyBERT, sasniedz aptuveni 97% no lielākā modeļa veiktspējas, darbojoties daudz ātrāk.
Lasīt pilno metodes aprakstu
Piesakieties ar bezmaksas kontu, lai lasītu šo sadaļu.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Avoti
Kā citēt šo lapu
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/lv/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdDziļā mācīšanās↔ compare
- Ekspertu maisījumsDziļā mācīšanās↔ compare
- Random ForestMašīnmācīšanās↔ compare
- Vizualā kontrastīvā apguveDziļā mācīšanās↔ compare
- XGBoostMašīnmācīšanās↔ compare
Uz to atsaucas
Pamanījāt kļūdu šajā lapā? Ziņojiet vai ierosiniet labojumu →