Distilarea cunoștințelor
Distilarea cunoștințelor este o tehnică de compresie a modelelor, introdusă de Geoffrey Hinton și colaboratorii săi în 2015, care antrenează un model mic, de tip „student”, utilizând ieșirile cu etichete soft (soft-label) ale unui model mare, de tip „profesor”. Modelele distilate, precum DistilBERT și TinyBERT, ating aproximativ 97% din performanța modelului mai mare, rulând în același timp mult mai rapid.
Citește metoda completă
Autentifică-te cu un cont gratuit pentru a citi această secțiune.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Surse
Cum se citează această pagină
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/ro/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdÎnvățare profundă↔ compare
- Amestec de ExperțiÎnvățare profundă↔ compare
- Pădurea Aleatoare (Random Forest)Învățare automată↔ compare
- Învățare vizuală contrastivăÎnvățare profundă↔ compare
- XGBoostÎnvățare automată↔ compare
Citat de
Ai observat o problemă pe această pagină? Raportează sau sugerează o corectură →