Destilación de Conocimiento

La destilación de conocimiento es una técnica de compresión de modelos, introducida por Geoffrey Hinton y colegas en 2015, que entrena un modelo estudiante pequeño utilizando las salidas de etiquetas suaves de un modelo profesor grande. Los modelos destilados como DistilBERT y TinyBERT alcanzan aproximadamente el 97% del rendimiento del modelo más grande mientras se ejecutan mucho más rápido.