Дистилација знања
Дистилација знања је техника компресије модела, коју су 2015. године увели Џефри Хинтон и његове колеге, а која тренира мали студентски модел користећи меке излазне ознаке великог наставничког модела. Дистилирани модели попут DistilBERT-а и TinyBERT-а достижу око 97% перформанси већег модела, док раде знатно брже.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Izvori
Kako citirati ovu stranicu
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/sr/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdDuboko učenje↔ compare
- Mešavina eksperataDuboko učenje↔ compare
- Slučajna šumaMašinsko učenje↔ compare
- Vizuelno kontrastno učenjeDuboko učenje↔ compare
- XGBoostMašinsko učenje↔ compare
Citirana u
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →