سجل دليل المنهج
Longformer / BigBird
Long-sequence Transformers such as Longformer (Beltagy, Peters & Cohan, 2020) and BigBird (Zaheer et al., 2020) replace the standard Transformer's O(n²) attention with sparse attention patterns that scale linearly, O(n), with sequence length. This lets a single model attend over thousands of tokens — full documents, legal texts, or genomic sequences — that would not fit a conventional Transformer.
سجل المصدر
تم نسخ الاستشهادات حرفيًا من سجل مصدر المنهج. لا يُستدل على أي تحقق على مستوى الادعاء منها.
Long-Sequence Transformers with Sparse Attention (Longformer / BigBird)
سجل منهج تصنيفي · ml-model / deep-learning
- Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv. · URL
- Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS. · URL
الادعاءات المنسقة
تم حفظ الادعاءات في دفتر الأستاذ الخاص بالأدلة، ولكل منها تقييمها الخاص.
لا توجد ادعاءات منسقة بعد
هذه الواجهة لا تخترع تقييمًا للادعاء عندما لا يكون دفتر الأستاذ يحتوي على واحد.
المنهجيات ذات الصلة
تم إنشاؤها من الرسم البياني للمنهج وتظهر كعلاقات مقترحة آليًا - لا يُستدل على أي ادعاء دليل.