नॉलेज डिस्टिलेशन
नॉलेज डिस्टिलेशन (Knowledge Distillation) एक मॉडल-संपीड़न तकनीक है, जिसे 2015 में जेफ्री हिंटन और उनके सहयोगियों द्वारा प्रस्तुत किया गया था। यह एक बड़े शिक्षक मॉडल के सॉफ्ट-लेबल आउटपुट का उपयोग करके एक छोटे छात्र मॉडल को प्रशिक्षित करती है। डिस्टिल्ड मॉडल जैसे कि DistilBERT और TinyBERT बड़े मॉडल के प्रदर्शन का लगभग 97% प्राप्त करते हैं, जबकि वे बहुत तेजी से चलते हैं।
पूरी विधि पढ़ें
यह खंड पढ़ने के लिए निःशुल्क खाते से साइन इन करें।
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
स्रोत
इस पृष्ठ का उद्धरण कैसे दें
ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/hi/deep-learning/knowledge-distillation
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- लॉन्गफ़ॉर्मर / बिगबर्डगहन अधिगम↔ compare
- मिश्रण विशेषज्ञ (Mixture of Experts)गहन अधिगम↔ compare
- रैंडम फ़ॉरेस्टमशीन अधिगम↔ compare
- विज़ुअल कंट्रास्टिव लर्निंगगहन अधिगम↔ compare
- XGBoostमशीन अधिगम↔ compare