Machine learning
Longformer / BigBird
Longformer (Beltagy, Peters & Cohan, 2020) や BigBird (Zaheer et al., 2020) のような長系列Transformerは、標準的なTransformerの O(n²) のアテンションを、系列長に対して線形 O(n) でスケールするスパースアテンションパターンに置き換えます。これにより、単一のモデルで、従来のTransformerには収まらないような数千トークン（文書全体、法律文書、ゲノム配列など）にアテンドすることが可能になります。
手法の全文を読む
会員限定
ログイン無料アカウントでログインすると、このセクションを読めます。
Method map
The neighbourhood of related methods — select a node to explore.
出典
このページの引用方法
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/ja/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
Compare side by side →