Penyulingan Pengetahuan

Penyulingan Pengetahuan (Knowledge Distillation) ialah teknik pemampatan model, yang diperkenalkan oleh Geoffrey Hinton dan rakan-rakan pada tahun 2015, yang melatih model pelajar yang kecil menggunakan output label-lembut daripada model guru yang besar. Model tersuling seperti DistilBERT dan TinyBERT mencapai kira-kira 97% prestasi model yang lebih besar sambil berjalan jauh lebih pantas.