لونغفورمر / بيغ بيرد
تستبدل نماذج المحولات (Transformers) ذات التسلسل الطويل مثل لونغفورمر (Longformer) (Beltagy, Peters & Cohan, 2020) وبيغ بيرد (BigBird) (Zaheer et al., 2020) آلية الانتباه القياسية ذات التعقيد التربيعي O(n²) بآليات انتباه متفرقة (sparse attention) تتناسب خطيًا O(n) مع طول التسلسل. هذا يسمح لنموذج واحد بالانتباه إلى آلاف الرموز (tokens) - مستندات كاملة، نصوص قانونية، أو تسلسلات جينومية - التي لا يمكن لنموذج محولات تقليدي استيعابها.
اقرأ الطريقة كاملة
سجّل الدخول بحساب مجاني لقراءة هذا القسم.
Method map
The neighbourhood of related methods — select a node to explore.
المصادر
كيف تستشهد بهذه الصفحة
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/ar/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- شبكة الانتباه الرسوميةالتعلم العميق↔ compare
- مزيج الخبراءالتعلم العميق↔ compare
- الغابات العشوائيةتعلم الآلة↔ compare
- XGBoostتعلم الآلة↔ compare