ScholarGate
עוזר
Machine learning

זיקוק ידע (Knowledge Distillation)

זיקוק ידע הוא טכניקת דחיסת מודלים, שהוצגה על ידי ג'פרי הינטון ועמיתיו בשנת 2015, המאמנת מודל תלמיד קטן תוך שימוש בפלטי התוויות הרכות (soft-label outputs) של מודל מורה גדול. מודלים מזוקקים כגון DistilBERT ו-TinyBERT מגיעים לכ-97% מביצועי המודל הגדול יותר תוך כדי ריצה מהירה הרבה יותר.

פתיחה ב-MethodMindבקרובוידאובקרובDownload slides

קראו את השיטה במלואה

לחברים בלבד

התחברו עם חשבון חינמי כדי לקרוא חלק זה.

התחברות

Method map

The neighbourhood of related methods — select a node to explore.

זיקוק ידע (Knowledge Distillation)
Longformer / BigBirdתערובת מומחיםיער אקראילמידה ויזואלית ניגודיתXGBoostרשת קפסולותלמידת עמיתים בהרכב (Ense…למידה מאוחדת (Federated…MobileNet: רשתות קונבולו…למידת ריבוי משימות

+3 more

מקורות

  1. Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop. link ↗
  2. Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108. link ↗

איך לצטט עמוד זה

ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/he/deep-learning/knowledge-distillation

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

מאוזכר על ידי

רשת קפסולותלמידת עמיתים בהרכב (Ensemble Self-supervised Learning)למידה מאוחדת (Federated Learning)MobileNet: רשתות קונבולוציה יעילות למחשוב ראייה ניידלמידת ריבוי משימותחיפוש ארכיטקטורות נוירוניותסיווג תמונות בלמידה עצמית-פיקוחWeakly supervised vision transformer

מצאתם בעיה בעמוד זה? דווחו או הציעו תיקון →

ScholarGate — Knowledge Distillation (Knowledge Distillation (Teacher–Student Model Compression)). אוחזר בתאריך 2026-06-15 מתוך https://scholargate.app/he/deep-learning/knowledge-distillation · מערך נתונים: https://doi.org/10.5281/zenodo.20539026