Longformer / BigBird
Långa transformatorer som Longformer (Beltagy, Peters & Cohan, 2020) och BigBird (Zaheer et al., 2020) ersätter standardtransformatorns O(n²) uppmärksamhet med glesa uppmärksamhetsmönster som skalar linjärt, O(n), med sekvenslängden. Detta gör att en enskild modell kan uppmärksamma tusentals tokens — hela dokument, juridiska texter eller genomiska sekvenser — som inte skulle passa en konventionell transformator.
Läs hela metoden
Logga in med ett kostnadsfritt konto för att läsa avsnittet.
Method map
The neighbourhood of related methods — select a node to explore.
Källor
Så citerar du den här sidan
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/sv/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- GrafuppmärksamhetsnätverkDjupinlärning↔ compare
- Blandning av experterDjupinlärning↔ compare
- Random ForestMaskininlärning↔ compare
- XGBoostMaskininlärning↔ compare
Refereras av
Hittade du ett fel på sidan? Rapportera eller föreslå en rättelse →