Înregistrare dovezi metodologice
Knowledge Distillation
Knowledge Distillation is a model-compression technique, introduced by Geoffrey Hinton and colleagues in 2015, that trains a small student model using the soft-label outputs of a large teacher model. Distilled models such as DistilBERT and TinyBERT reach roughly 97% of the larger model's performance while running far faster.
Înregistrare sursă
Citările sunt copiate integral din înregistrarea sursă a metodei. Nu se inferă nicio verificare la nivel de afirmație din acestea.
Knowledge Distillation (Teacher–Student Model Compression)
Înregistrare metodologică taxonomică · ml-model / deep-learning
- Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop. · URL
- Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108. · URL
Afirmații curate
Afirmațiile sunt stocate în registrul dovezilor, fiecare cu propria evaluare.
Încă nu există afirmații curate
Această vizualizare nu inventează o evaluare a afirmației dacă registrul nu conține una.
Metode conexe
Generate din graful metodelor și afișate ca relații sugerate automat — nu se inferă nicio afirmație de dovadă.