Záznam dôkazov metódy
Knowledge Distillation
Knowledge Distillation is a model-compression technique, introduced by Geoffrey Hinton and colleagues in 2015, that trains a small student model using the soft-label outputs of a large teacher model. Distilled models such as DistilBERT and TinyBERT reach roughly 97% of the larger model's performance while running far faster.
Zdrojový záznam
Citácie skopírované doslovne zo zdrojového záznamu metódy. Nevyplýva z nich žiadne overenie na úrovni tvrdenia.
Knowledge Distillation (Teacher–Student Model Compression)
Taxonomický záznam metódy · ml-model / deep-learning
- Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop. · URL
- Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108. · URL
Spracované tvrdenia
Tvrdenia uložené v registri dôkazov, každé s vlastným hodnotením.
Zatiaľ žiadne spracované tvrdenia
Tento pohľad nevymýšľa hodnotenie tvrdenia, ak register žiadne nemá.
Súvisiace metódy
Vygenerované z grafu metód a zobrazené ako vzťahy navrhnuté strojom – nevyplýva z nich žiadne tvrdenie o dôkaze.