Destilacija znanja
Destilacija znanja je tehnika kompresije modela, koju su 2015. uveli Geoffrey Hinton i suradnici, a koja trenira mali studentski model koristeći izlaze s mekim oznakama velikog učiteljskog modela. Destilirani modeli poput DistilBERTa i TinyBERTa postižu otprilike 97% performansi većeg modela, dok rade znatno brže.
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Izvori
Kako citirati ovu stranicu
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/hr/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- [NEEDS TRANSLATION]Duboko učenje↔ compare
- Mješavina stručnjakaDuboko učenje↔ compare
- Slučajna šumaStrojno učenje↔ compare
- Vizualno kontrastivno učenjeDuboko učenje↔ compare
- XGBoostStrojno učenje↔ compare
Citirana u
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →