Distilasi Pengetahuan
Distilasi Pengetahuan adalah teknik kompresi model, yang diperkenalkan oleh Geoffrey Hinton dan rekan-rekannya pada tahun 2015, yang melatih model siswa kecil menggunakan keluaran label lunak dari model guru besar. Model yang didistilasi seperti DistilBERT dan TinyBERT mencapai sekitar 97% kinerja model yang lebih besar sambil berjalan jauh lebih cepat.
Baca metode selengkapnya
Masuk dengan akun gratis untuk membaca bagian ini.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Sumber
Cara menyitasi halaman ini
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/id/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdPembelajaran Mendalam↔ compare
- Campuran PakarPembelajaran Mendalam↔ compare
- Random ForestPembelajaran Mesin↔ compare
- Pembelajaran Kontrastif VisualPembelajaran Mendalam↔ compare
- XGBoostPembelajaran Mesin↔ compare
Dirujuk oleh
Menemukan masalah di halaman ini? Laporkan atau usulkan perbaikan →