Tietämyksen tislaus
Tietämyksen tislaus (Knowledge Distillation) on mallin pakkaustekniikka, jonka Geoffrey Hinton ja kollegat esittelivät vuonna 2015. Se kouluttaa pienen opiskelijamallin (student model) käyttämällä suuren opettajamallin (teacher model) pehmeitä luokitusulostuloja (soft-label outputs). Tislaamalla saadut mallit, kuten DistilBERT ja TinyBERT, saavuttavat noin 97 % suuremman mallin suorituskyvystä, mutta toimivat huomattavasti nopeammin.
Lue koko menetelmä
Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Lähteet
Näin viittaat tähän sivuun
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/fi/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdSyväoppiminen↔ compare
- Asiantuntijoiden sekoitusSyväoppiminen↔ compare
- Random ForestKoneoppiminen↔ compare
- Visuaalinen kontrastiivinen oppiminenSyväoppiminen↔ compare
- XGBoostKoneoppiminen↔ compare
Tähän viittaavat
Huomasitko virheen tällä sivulla? Ilmoita siitä tai ehdota korjausta →