Aller au contenuScholarGate
BibliothèqueMa bibliothèqueBureauReview StudioAssistant
Se connecter
Knowledge Distillation/Preuve
Dossier de preuve de méthode

Knowledge Distillation

Knowledge Distillation is a model-compression technique, introduced by Geoffrey Hinton and colleagues in 2015, that trains a small student model using the soft-label outputs of a large teacher model. Distilled models such as DistilBERT and TinyBERT reach roughly 97% of the larger model's performance while running far faster.

Sources recorded, not reviewed

Dossier source

Citations copiées telles quelles du dossier source de la méthode. Aucune vérification au niveau de la revendication n'en est déduite.

Knowledge Distillation (Teacher–Student Model Compression)
Dossier de méthode taxonomique · ml-model / deep-learning
  • Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop. · URL
  • Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108. · URL
Ouvrir la méthode complète

Revendications organisées

Revendications enregistrées dans le registre de preuves, chacune avec sa propre évaluation.

Pas encore de revendications organisées

Cette vue n'invente pas d'évaluation de revendication lorsque le registre n'en contient aucune.

Méthodes apparentées

Généré à partir du graphe de méthodes et présenté comme des relations suggérées par la machine — aucune revendication de preuve n'est déduite.

Same method familyLongformer / BigBirdmachine-suggested · Relational suggestion, not evidence.Same method familyMixture of Expertsmachine-suggested · Relational suggestion, not evidence.Same method familyRandom Forestmachine-suggested · Relational suggestion, not evidence.Same method familyVisual Contrastive Learningmachine-suggested · Relational suggestion, not evidence.Same method familyXGBoostmachine-suggested · Relational suggestion, not evidence.

Statut de la preuve

Sources recorded, not reviewed

Bibliographic sources are present. Claim-level evidence review has not been performed.

Sources

2 citations enregistrées, copiées du dossier source de la méthode.

Actions

Ouvrir la page de la méthode
ScholarGate

Une bibliothèque de référence centrée sur le contenu, dédiée aux méthodes de recherche — ce qu'est chaque méthode, comment elle fonctionne et d'où elle vient.

Données ouvertes (CC-BY)

Découvrir

  • Bibliothèque
  • Rechercher des méthodes…
  • Parcourir par domaine
  • Domaines
  • Cheminement
  • Comparer
  • Quelle méthode ?

Référence

  • Disciplines
  • Atlas
  • Glossaire
  • Méthodologie
  • Philosophie

Espace de travail

  • Ma bibliothèque
  • Bureau
  • Chat

Entreprise

  • À propos
  • Tarifs
  • Contact
  • Proposer une méthode

Les entrées sont compilées à partir de sources publiées à titre de référence. Il vous appartient de vérifier l'exactitude et l'adéquation de toute information à votre propre usage.

© 2026 ScholarGate · Bibliothèque de référence des méthodes de recherche
  • Confidentialité
  • Cookies
  • Conditions
  • Supprimer le compte