আধা-পর্যবেক্ষিত ট্রান্সফরমার
আধা-পর্যবেক্ষিত শিক্ষা ট্রান্সফরমার স্থাপত্যের সাথে ব্যবহার করে শক্তিশালী ক্রমিক মডেল প্রশিক্ষণের জন্য অল্প পরিমাণে লেবেলযুক্ত ডেটার পাশাপাশি প্রচুর পরিমাণে লেবেলবিহীন ডেটা ব্যবহার করা হয়। BERT দ্বারা উদাহরণস্বরূপ প্রধান প্যাটার্নটি হল - প্রথমে মাস্কড টোকেন প্রেডিকশনের মতো স্ব-পর্যবেক্ষিত উদ্দেশ্য ব্যবহার করে লেবেলবিহীন ডেটার উপর ট্রান্সফরমারকে প্রি-ট্রেইন করা, তারপর লেবেলযুক্ত কাজের উপর এটিকে ফাইন-টিউন করা। এই দুই-পর্যায়ের পদ্ধতি শক্তিশালী কর্মক্ষমতা অর্জনের জন্য প্রয়োজনীয় লেবেলযুক্ত ডেটার পরিমাণকে নাটকীয়ভাবে হ্রাস করে।
পুরো পদ্ধতিটি পড়ুন
এই অংশটি পড়তে বিনামূল্যের অ্যাকাউন্ট দিয়ে সাইন ইন করুন।
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
উৎস
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
এই পৃষ্ঠা কীভাবে উদ্ধৃত করবেন
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/bn/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-ভিত্তিক শ্রেণিবিভাগগভীর শিখন↔ compare
- ফাইন-টিউনড ট্রান্সফরমারগভীর শিখন↔ compare
- RoBERTa-ভিত্তিক শ্রেণিবিভাগগভীর শিখন↔ compare
- Self-supervised Transformerগভীর শিখন↔ compare
- Semi-supervised Convolutional Neural Networkগভীর শিখন↔ compare
যেখানে উদ্ধৃত
এই পৃষ্ঠায় কোনো ত্রুটি চোখে পড়েছে? জানান বা সংশোধনের প্রস্তাব দিন →