अर्ध-पर्यवेक्षित ट्रांसफार्मर
अर्ध-पर्यवेक्षित शिक्षण ट्रांसफार्मर आर्किटेक्चर के साथ शक्तिशाली अनुक्रम मॉडल को प्रशिक्षित करने के लिए थोड़ी लेबल वाली सेट के साथ बड़ी मात्रा में बिना लेबल वाले डेटा का लाभ उठाता है। प्रमुख पैटर्न - BERT द्वारा उदाहरणित - पहले मास्क किए गए टोकन भविष्यवाणी जैसे स्व-पर्यवेक्षित उद्देश्यों का उपयोग करके बिना लेबल वाले डेटा पर ट्रांसफार्मर को पूर्व-प्रशिक्षित करता है, फिर लेबल वाले कार्य पर इसे फाइन-ट्यून करता है। यह दो-चरणीय दृष्टिकोण मजबूत प्रदर्शन प्राप्त करने के लिए आवश्यक लेबल वाले डेटा को काफी कम कर देता है।
पूरी विधि पढ़ें
यह खंड पढ़ने के लिए निःशुल्क खाते से साइन इन करें।
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
स्रोत
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
इस पृष्ठ का उद्धरण कैसे दें
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/hi/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT-आधारित वर्गीकरणगहन अधिगम↔ compare
- फाइन-ट्यून्ड ट्रांसफार्मरगहन अधिगम↔ compare
- RoBERTa-आधारित वर्गीकरणगहन अधिगम↔ compare
- स्व-पर्यवेक्षित ट्रांसफार्मरगहन अधिगम↔ compare
- Semi-supervised Convolutional Neural Networkगहन अधिगम↔ compare