Destil·lació del coneixement
La destil·lació del coneixement és una tècnica de compressió de models, introduïda per Geoffrey Hinton i col·laboradors el 2015, que entrena un petit model estudiant utilitzant les sortides de pseudo-etiquetes (soft-label) d'un gran model professor. Models destil·lats com DistilBERT i TinyBERT assoleixen aproximadament el 97% del rendiment del model més gran mentre s'executen molt més ràpid.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Fonts
Com citar aquesta pàgina
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/ca/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdAprenentatge profund↔ compare
- Mixture of ExpertsAprenentatge profund↔ compare
- Random ForestAprenentatge automàtic↔ compare
- Aprenentatge visual contrastiuAprenentatge profund↔ compare
- XGBoostAprenentatge automàtic↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →