Дестилация на знания
Дестилацията на знания е техника за компресиране на модели, въведена от Джефри Хинтън и колеги през 2015 г., която обучава малък студентски модел, използвайки меките изходни данни на голям модел-учител. Дестилирани модели като DistilBERT и TinyBERT достигат приблизително 97% от производителността на по-големия модел, като същевременно работят значително по-бързо.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Източници
Как да цитирате тази страница
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/bg/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdДълбоко обучение↔ compare
- Смес от експертиДълбоко обучение↔ compare
- Случайна гораМашинно обучение↔ compare
- Визуално контрастивно обучениеДълбоко обучение↔ compare
- XGBoostМашинно обучение↔ compare
Цитиран в
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →