Machine learning

নলেজ ডিস্টিলেশন (Knowledge Distillation)

নলেজ ডিস্টিলেশন হলো একটি মডেল-সংকোচন কৌশল, যা ২০১৫ সালে জিওফ্রে হিন্টন এবং সহকর্মীরা প্রবর্তন করেন। এটি একটি বৃহৎ শিক্ষক মডেলের (teacher model) সফট-লেবেল আউটপুট ব্যবহার করে একটি ছোট ছাত্র মডেলকে (student model) প্রশিক্ষণ দেয়। DistilBERT এবং TinyBERT-এর মতো ডিস্টিলড মডেলগুলো বৃহত্তর মডেলের প্রায় ৯৭% কর্মক্ষমতা অর্জন করে, অথচ অনেক দ্রুত চলে।

MethodMind-এ খুলুনশীঘ্রইভিডিওশীঘ্রইDownload slides

পুরো পদ্ধতিটি পড়ুন

শুধু সদস্যদের জন্য

এই অংশটি পড়তে বিনামূল্যের অ্যাকাউন্ট দিয়ে সাইন ইন করুন।

সাইন ইন করুন

Method map

The neighbourhood of related methods — select a node to explore.

+3 more

উৎস

  1. Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop. link
  2. Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108. link

এই পৃষ্ঠা কীভাবে উদ্ধৃত করবেন

ScholarGate. (2026, June 1). Knowledge Distillation (Teacher–Student Model Compression). ScholarGate. https://scholargate.app/bn/deep-learning/knowledge-distillation

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side

যেখানে উদ্ধৃত

ScholarGateKnowledge Distillation (Knowledge Distillation (Teacher–Student Model Compression)). 2026-06-15 তারিখে সংগৃহীত, উৎস: https://scholargate.app/bn/deep-learning/knowledge-distillation · ডেটাসেট: https://doi.org/10.5281/zenodo.20539026