Meetodi tõendite kirje
Knowledge Distillation
Knowledge Distillation is a model-compression technique, introduced by Geoffrey Hinton and colleagues in 2015, that trains a small student model using the soft-label outputs of a large teacher model. Distilled models such as DistilBERT and TinyBERT reach roughly 97% of the larger model's performance while running far faster.
Allikakirje
Tsiteeringud kopeeritud meetodi allikakirjest sõna-sõnalt. Nendest ei saa järeldada väidete tasemel kinnitust.
Knowledge Distillation (Teacher–Student Model Compression)
Taksonoomiline meetodikirje · ml-model / deep-learning
- Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop. · URL
- Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108. · URL
Kureeritud väited
Väited on salvestatud tõendite registrisse, igal oma hinnanguga.
Kureeritud väiteid veel pole
See vaade ei loo väite hinnangut, kui registris seda pole.
Seotud meetodid
Genereeritud meetodigraafist ja kuvatud masina soovitatud seostena – väiteid ei järeldata.