Destilação de Conhecimento

A Destilação de Conhecimento é uma técnica de compressão de modelos, introduzida por Geoffrey Hinton e colegas em 2015, que treina um pequeno modelo aluno usando as saídas de rótulo suave (soft-label) de um grande modelo professor. Modelos destilados como DistilBERT e TinyBERT atingem aproximadamente 97% do desempenho do modelo maior, enquanto executam muito mais rapidamente.