Distilimimi i Njohurive
Distilimimi i Njohurive është një teknikë e kompresimit të modeleve, e prezantuar nga Geoffrey Hinton dhe kolegët e tij në vitin 2015, e cila trajnon një model të vogël studentor duke përdorur rezultatet e etiketave të buta (soft-label) të një modeli të madh mësues. Modelet e distiluara si DistilBERT dhe TinyBERT arrijnë rreth 97% të performancës së modelit më të madh duke funksionuar shumë më shpejt.
Lexoni metodën e plotë
Hyni me një llogari falas për ta lexuar këtë seksion.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Burimet
Si ta citoni këtë faqe
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/sq/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdMësimi i thellë↔ compare
- Përzierje EkspertëshMësimi i thellë↔ compare
- Pylli i RastësishëmMësimi i makinës↔ compare
- Mësimi vizual kontrastivMësimi i thellë↔ compare
- XGBoostMësimi i makinës↔ compare
Cituar nga
Vutë re një problem në këtë faqe? Raportojeni ose sugjeroni një korrigjim →