لانگفارمر / بیگبرد
ترنسفورمرهای دنباله بلند مانند لانگفارمر (Beltagy, Peters & Cohan, 2020) و بیگبرد (Zaheer et al., 2020) توجه استاندارد O(n²) ترنسفورمر را با الگوهای توجه پراکنده که به صورت خطی، O(n)، با طول دنباله مقیاسپذیر هستند، جایگزین میکنند. این امر به یک مدل واحد اجازه میدهد تا هزاران توکن - اسناد کامل، متون حقوقی، یا توالیهای ژنومی - را که در یک ترنسفورمر معمولی جا نمیشوند، پردازش کند.
مطالعهٔ کامل روش
برای خواندن این بخش با حساب رایگان وارد شوید.
Method map
The neighbourhood of related methods — select a node to explore.
منابع
نحوهٔ استناد به این صفحه
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/fa/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- شبکه توجه گرافیادگیری عمیق↔ compare
- ترکیبی از متخصصانیادگیری عمیق↔ compare
- جنگل تصادفییادگیری ماشین↔ compare
- XGBoostیادگیری ماشین↔ compare
ارجاعشده در
در این صفحه مشکلی دیدید؟ گزارش دهید یا اصلاحی پیشنهاد کنید →