Chưng cất tri thức
Chưng cất tri thức (Knowledge Distillation) là một kỹ thuật nén mô hình, được Geoffrey Hinton và các đồng nghiệp giới thiệu vào năm 2015, huấn luyện một mô hình học sinh nhỏ bằng cách sử dụng các đầu ra nhãn mềm của một mô hình giáo viên lớn. Các mô hình được chưng cất như DistilBERT và TinyBERT đạt khoảng 97% hiệu suất của mô hình lớn hơn trong khi chạy nhanh hơn nhiều.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Nguồn tài liệu
Cách trích dẫn trang này
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/vi/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Longformer / BigBirdHọc sâu↔ compare
- Mixture of ExpertsHọc sâu↔ compare
- Rừng ngẫu nhiênHọc máy↔ compare
- Học tương phản hình ảnhHọc sâu↔ compare
- XGBoostHọc máy↔ compare
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →