Distillazione della Conoscenza
La Distillazione della Conoscenza (Knowledge Distillation) è una tecnica di compressione del modello, introdotta da Geoffrey Hinton e colleghi nel 2015, che addestra un piccolo modello studente utilizzando gli output "soft-label" di un grande modello insegnante. I modelli distillati come DistilBERT e TinyBERT raggiungono circa il 97% delle prestazioni del modello più grande, pur funzionando molto più velocemente.
Leggi il metodo completo
Accedi con un account gratuito per leggere questa sezione.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Fonti
Come citare questa pagina
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/it/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdApprendimento profondo↔ compare
- Mixture of ExpertsApprendimento profondo↔ compare
- Random ForestApprendimento automatico↔ compare
- Apprendimento visivo contrastivoApprendimento profondo↔ compare
- XGBoostApprendimento automatico↔ compare
Citato da
Hai notato un problema in questa pagina? Segnalalo o proponi una correzione →