تقطیر دانش (Knowledge Distillation)
تقطیر دانش یک تکنیک فشردهسازی مدل است که در سال ۲۰۱۵ توسط جفری هینتون و همکارانش معرفی شد و در آن یک مدل کوچک دانشآموز (student) با استفاده از خروجیهای برچسب نرم (soft-label) یک مدل بزرگ معلم (teacher) آموزش داده میشود. مدلهای تقطیر شده مانند DistilBERT و TinyBERT به حدود ۹۷٪ از عملکرد مدل بزرگتر دست مییابند در حالی که بسیار سریعتر اجرا میشوند.
مطالعهٔ کامل روش
برای خواندن این بخش با حساب رایگان وارد شوید.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
منابع
نحوهٔ استناد به این صفحه
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/fa/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- لانگفارمر / بیگبردیادگیری عمیق↔ compare
- ترکیبی از متخصصانیادگیری عمیق↔ compare
- جنگل تصادفییادگیری ماشین↔ compare
- یادگیری تقابلی بصرییادگیری عمیق↔ compare
- XGBoostیادگیری ماشین↔ compare
ارجاعشده در
در این صفحه مشکلی دیدید؟ گزارش دهید یا اصلاحی پیشنهاد کنید →