अटेंशन मैकेनिज्म (Attention Mechanism)
अटेंशन मैकेनिज्म, जिसे 2015 में बहादनाउ, चो और बेंगियो द्वारा प्रस्तुत किया गया था और उसी वर्ष लुओंग, फाम और मैनिंग द्वारा परिष्कृत किया गया था, एक अनुक्रम डिकोडर को प्रत्येक चरण में एनकोडर के आउटपुट पर गतिशील रूप से यह सीखने की अनुमति देता है कि किस पर ध्यान केंद्रित करना है। ट्रांसफार्मर से पहले, इसने एक एकल निश्चित वेक्टर में संपूर्ण इनपुट को संपीड़ित करने से मॉडल को मुक्त करके मशीन-अनुवाद की गुणवत्ता में काफी सुधार किया।
पूरी विधि पढ़ें
यह खंड पढ़ने के लिए निःशुल्क खाते से साइन इन करें।
पद्धति मानचित्र
सम्बन्धित पद्धतियों का परिवेश — अन्वेषण हेतु किसी नोड का चयन करें।
+3 और
स्रोत
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
इस पृष्ठ का उद्धरण कैसे दें
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/hi/deep-learning/attention-mechanism
कौन-सी पद्धति?
इस पद्धति को उसकी निकटतम सजातीय पद्धतियों के साथ रखकर उन्हें साथ-साथ पढ़ें — पुस्तकालय पुस्तकें मेज़ पर रख देता है; चुनाव आपका है।
- BERT फाइन-ट्यूनिंगगहन अधिगम↔ तुलना करें
- जीपीटी फाइन-ट्यूनिंगगहन अधिगम↔ तुलना करें
- रैंडम फ़ॉरेस्टमशीन अधिगम↔ तुलना करें
- बहु-शीर्षक स्व-ध्यान (Multi-Head Self-Attention)गहन अधिगम↔ तुलना करें
- XGBoostमशीन अधिगम↔ तुलना करें