Machine learning

知識蒸留

知識蒸留（Knowledge Distillation）は、2015年にGeoffrey Hintonらが提唱したモデル圧縮技術であり、大規模な教師モデルのソフトラベル出力を用いて、小さな生徒モデルを訓練します。DistilBERTやTinyBERTのような蒸留モデルは、大規模モデルの性能の約97%を達成しながら、はるかに高速に動作します。

MethodMindで開く近日公開動画近日公開Download slides

手法の全文を読む

会員限定

無料アカウントでログインすると、このセクションを読めます。

ログイン

Method map

The neighbourhood of related methods — select a node to explore.

知識蒸留

Longformer / BigBird 混合専門家モデルランダムフォレスト視覚的対照学習 XGBoost カプセルネットワークアンサンブル自己教師あり学習 Federated Learning（連合学習）モバイルネット：モバイルビジョン向け効率的な畳み…マルチタスク学習

+3 more

出典

Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop. link ↗
Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108. link ↗

このページの引用方法

ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/ja/deep-learning/knowledge-distillation

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

この手法を参照する項目

カプセルネットワークアンサンブル自己教師あり学習 Federated Learning（連合学習）モバイルネット：モバイルビジョン向け効率的な畳み込みニューラルネットワークマルチタスク学習ニューラルアーキテクチャ探索自己教師あり画像分類 Weakly Supervised Vision Transformer

このページに誤りを見つけましたか?報告・修正提案 →

手法の全文を読む

Method map

出典

このページの引用方法

関連手法

Which method?

この手法を参照する項目