लॉन्गफ़ॉर्मर / बिगबर्ड
लॉन्गफ़ॉर्मर (बेल्टेगी, पीटर्स और कोहन, 2020) और बिगबर्ड (ज़हीर एट अल., 2020) जैसे लंबे-अनुक्रम ट्रांसफ़ॉर्मर मानक ट्रांसफ़ॉर्मर के O(n²) ध्यान को विरल ध्यान पैटर्न से बदलते हैं जो अनुक्रम लंबाई के साथ रैखिक रूप से, O(n), स्केल करते हैं। यह एक एकल मॉडल को हजारों टोकन - पूर्ण दस्तावेज़, कानूनी ग्रंथ, या जीनोमिक अनुक्रम - पर ध्यान केंद्रित करने की अनुमति देता है जो एक पारंपरिक ट्रांसफ़ॉर्मर में फिट नहीं होंगे।
पूरी विधि पढ़ें
यह खंड पढ़ने के लिए निःशुल्क खाते से साइन इन करें।
Method map
The neighbourhood of related methods — select a node to explore.
स्रोत
इस पृष्ठ का उद्धरण कैसे दें
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/hi/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- ग्राफ अटेंशन नेटवर्कगहन अधिगम↔ compare
- मिश्रण विशेषज्ञ (Mixture of Experts)गहन अधिगम↔ compare
- रैंडम फ़ॉरेस्टमशीन अधिगम↔ compare
- XGBoostमशीन अधिगम↔ compare