سوابق شواهد روش
Knowledge Distillation
Knowledge Distillation is a model-compression technique, introduced by Geoffrey Hinton and colleagues in 2015, that trains a small student model using the soft-label outputs of a large teacher model. Distilled models such as DistilBERT and TinyBERT reach roughly 97% of the larger model's performance while running far faster.
سوابق منبع
استنادات عیناً از سوابق منبع روش کپی شدهاند. هیچ تأیید در سطح ادعا از آنها استنباط نمیشود.
Knowledge Distillation (Teacher–Student Model Compression)
سوابق روش طبقهبندی · ml-model / deep-learning
- Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop. · URL
- Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108. · URL
ادعاهای گزینششده
ادعاها در دفتر ثبت شواهد ذخیره شدهاند، هر کدام با ارزیابی خاص خود.
هنوز ادعای گزینششدهای وجود ندارد
این نما در صورت عدم وجود ارزیابی ادعا در دفتر ثبت، ادعایی ابداع نمیکند.
روشهای مرتبط
از گراف روش تولید شده و به عنوان روابط پیشنهادی ماشین نمایش داده میشود — هیچ ادعای مدرکی استنباط نمیشود.