Distillation de connaissances
La distillation de connaissances est une technique de compression de modèles, introduite par Geoffrey Hinton et ses collègues en 2015, qui entraîne un petit modèle étudiant à l'aide des sorties de pseudo-étiquettes (soft labels) d'un grand modèle enseignant. Les modèles distillés tels que DistilBERT et TinyBERT atteignent environ 97 % des performances du modèle plus grand tout en s'exécutant beaucoup plus rapidement.
Lire la méthode complète
Connectez-vous avec un compte gratuit pour lire cette section.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Sources
Comment citer cette page
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/fr/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdApprentissage profond↔ compare
- Mélange d'expertsApprentissage profond↔ compare
- Forêt AléatoireApprentissage automatique↔ compare
- Apprentissage visuel contrastifApprentissage profond↔ compare
- XGBoostApprentissage automatique↔ compare
Référencée par
Une erreur sur cette page ? Signalez-la ou proposez une correction →