Knowledge Distillation
Knowledge Distillation is a model-compression technique, introduced by Geoffrey Hinton and colleagues in 2015, that trains a small student model using the soft-label outputs of a large teacher model. Distilled models such as DistilBERT and TinyBERT reach roughly 97% of the larger model's performance while running far faster.
Registro de origem
Citações copiadas literalmente do registro de origem do método. Nenhuma verificação em nível de alegação é inferida delas.
- Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop. · URL
- Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108. · URL
Alegações curadas
Alegações persistidas no livro-razão de evidências, cada uma com sua própria avaliação.
Esta visualização não inventa uma avaliação de alegação quando o livro-razão não a possui.
Métodos relacionados
Gerado a partir do grafo de métodos e mostrado como relações sugeridas por máquina — nenhuma alegação de evidência é inferida.