การกลั่นความรู้
การกลั่นความรู้ (Knowledge Distillation) เป็นเทคนิคการบีบอัดโมเดล ซึ่ง Geoffrey Hinton และคณะ ได้นำเสนอในปี 2015 โดยฝึกโมเดลนักเรียน (student model) ขนาดเล็ก โดยใช้ผลลัพธ์แบบซอฟต์เลเบล (soft-label) จากโมเดลครู (teacher model) ขนาดใหญ่ โมเดลที่ผ่านการกลั่น เช่น DistilBERT และ TinyBERT สามารถทำประสิทธิภาพได้ใกล้เคียง 97% ของโมเดลขนาดใหญ่ แต่ทำงานได้เร็วกว่ามาก
อ่านวิธีฉบับเต็ม
เข้าสู่ระบบด้วยบัญชีฟรีเพื่ออ่านส่วนนี้
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
แหล่งอ้างอิง
วิธีอ้างอิงหน้านี้
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/th/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdการเรียนรู้เชิงลึก↔ compare
- Mixture of Expertsการเรียนรู้เชิงลึก↔ compare
- Random Forestการเรียนรู้ของเครื่อง↔ compare
- การเรียนรู้เชิงเปรียบเทียบสำหรับภาพ (Visual Contrastive Learning)การเรียนรู้เชิงลึก↔ compare
- XGBoostการเรียนรู้ของเครื่อง↔ compare