Teadmise destilleerimine
Teadmise destilleerimine on mudelite tihendamise tehnika, mille võtsid 2015. aastal kasutusele Geoffrey Hinton ja kolleegid. See treenib väikest õpilas-mudelit suure õpetaja-mudeli pehmete väljundite abil. Destilleeritud mudelid nagu DistilBERT ja TinyBERT saavutavad umbes 97% suurema mudeli jõudlusest, töötades samal ajal palju kiiremini.
Loe meetodi täielikku kirjeldust
Selle osa lugemiseks logi sisse tasuta kontoga.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Allikad
Kuidas sellele lehele viidata
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/et/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdSüvaõpe↔ compare
- Ekspertide seguSüvaõpe↔ compare
- Juhuslik metsMasinõpe↔ compare
- Visuaalne kontrastiivne õppimineSüvaõpe↔ compare
- XGBoostMasinõpe↔ compare
Sellele viitavad
Märkasid sellel lehel viga? Teata sellest või paku parandust →