Metodebevisregister
Knowledge Distillation
Knowledge Distillation is a model-compression technique, introduced by Geoffrey Hinton and colleagues in 2015, that trains a small student model using the soft-label outputs of a large teacher model. Distilled models such as DistilBERT and TinyBERT reach roughly 97% of the larger model's performance while running far faster.
Kilderegister
Siteringer kopiert ordrett fra metodens kilderegister. Ingen påstandsnivåverifisering er underforstått fra dem.
Knowledge Distillation (Teacher–Student Model Compression)
Taksonomisk metoderegister · ml-model / deep-learning
- Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop. · URL
- Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108. · URL
Kuraterte påstander
Påstander lagret i bevishovedboken, hver med sin egen vurdering.
Ingen kuraterte påstander ennå
Denne visningen finner ikke opp en påstandsvurdering når hovedboken ikke har noen.
Relaterte metoder
Generert fra metodegrafen og vist som maskinforslåtte relasjoner – ingen bevispåstand er underforstått.