Longformer / BigBird
Long-sequence Transformer-Modelle wie Longformer (Beltagy, Peters & Cohan, 2020) und BigBird (Zaheer et al., 2020) ersetzen die O(n²)-Aufmerksamkeit des Standard-Transformers durch dünnbesetzte Aufmerksamkeitsmuster, die linear, O(n), mit der Sequenzlänge skalieren. Dies ermöglicht es einem einzelnen Modell, Tausende von Tokens – ganze Dokumente, Rechtstexte oder genomische Sequenzen – zu verarbeiten, die nicht in einen konventionellen Transformer passen würden.
Die vollständige Methode lesen
Melden Sie sich mit einem kostenlosen Konto an, um diesen Abschnitt zu lesen.
Method map
The neighbourhood of related methods — select a node to explore.
Quellen
So zitieren Sie diese Seite
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/de/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Graph Attention NetworkDeep Learning↔ compare
- Mixture of ExpertsDeep Learning↔ compare
- Random ForestMaschinelles Lernen↔ compare
- XGBoostMaschinelles Lernen↔ compare
Referenziert von
Einen Fehler auf dieser Seite entdeckt? Melden oder Korrektur vorschlagen →