지식 증류

지식 증류(Knowledge Distillation)는 2015년 Geoffrey Hinton 등이 소개한 모델 압축 기법으로, 큰 교사 모델(teacher model)의 부드러운 레이블(soft-label) 출력을 사용하여 작은 학생 모델(student model)을 훈련시키는 방식입니다. DistilBERT 및 TinyBERT와 같은 증류된 모델은 더 큰 모델 성능의 약 97%를 달성하면서 훨씬 빠르게 실행됩니다.