Catatan bukti metode
Knowledge Distillation
Knowledge Distillation is a model-compression technique, introduced by Geoffrey Hinton and colleagues in 2015, that trains a small student model using the soft-label outputs of a large teacher model. Distilled models such as DistilBERT and TinyBERT reach roughly 97% of the larger model's performance while running far faster.
Catatan sumber
Kutipan disalin apa adanya dari catatan sumber metode. Tidak ada verifikasi tingkat klaim yang disimpulkan darinya.
Knowledge Distillation (Teacher–Student Model Compression)
Catatan metode taksonomi · ml-model / deep-learning
- Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop. · URL
- Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108. · URL
Klaim yang dikurasi
Klaim tersimpan dalam buku besar bukti, masing-masing dengan penilaiannya sendiri.
Belum ada klaim yang dikurasi
Tampilan ini tidak menciptakan penilaian klaim ketika buku besar tidak memilikinya.
Metode terkait
Dihasilkan dari grafik metode dan ditampilkan sebagai relasi yang disarankan mesin — tidak ada klaim bukti yang disimpulkan.