Дистиляція знань
Дистиляція знань — це техніка стиснення моделей, представлена Джеффрі Гінтоном та його колегами у 2015 році, яка навчає маленьку модель-студента, використовуючи м'які вихідні дані великої моделі-вчителя. Дистильовані моделі, такі як DistilBERT і TinyBERT, досягають приблизно 97% продуктивності більшої моделі, працюючи значно швидше.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Джерела
Як цитувати цю сторінку
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/uk/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdГлибоке навчання↔ compare
- Суміш експертівГлибоке навчання↔ compare
- Випадковий лісМашинне навчання↔ compare
- Візуальне контрастивне навчанняГлибоке навчання↔ compare
- XGBoostМашинне навчання↔ compare
Згадується в
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →