Дистилляция знаний

Дистилляция знаний — это метод сжатия моделей, представленный Джеффри Хинтоном и его коллегами в 2015 году, который обучает небольшую модель-ученика, используя мягкие выходные метки большой модели-учителя. Дистиллированные модели, такие как DistilBERT и TinyBERT, достигают примерно 97% производительности большей модели, работая при этом значительно быстрее.