Machine learning

Longformer / BigBird

Lange-sequentie Transformers zoals Longformer (Beltagy, Peters & Cohan, 2020) en BigBird (Zaheer et al., 2020) vervangen de standaard O(n²) aandacht van de Transformer door ijle aandachtspatronen die lineair, O(n), schalen met de sequentielengte. Dit stelt een enkel model in staat om duizenden tokens te verwerken — volledige documenten, juridische teksten of genomische sequenties — die niet in een conventionele Transformer zouden passen.

Openen in MethodMindBinnenkortVideoBinnenkortDownload slides

Lees de volledige methode

Alleen voor leden

Inloggen

Method map

The neighbourhood of related methods — select a node to explore.

Longformer / BigBird

Graph Attention Network Mixture of Experts Random Forest XGBoost Kennisdestillatie Neural Architecture Sear…Visueel contrastief leren

Bronnen

Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv. link ↗
Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS. link ↗

Deze pagina citeren

ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/nl/deep-learning/longformer-bigbird

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Graph Attention NetworkDeep learning↔ compare
Mixture of ExpertsDeep learning↔ compare
Random ForestMachine learning↔ compare
XGBoostMachine learning↔ compare

Compare side by side →

Geciteerd door

Kennisdestillatie Neural Architecture Search Visueel contrastief leren

Een fout op deze pagina gezien? Meld het of stel een correctie voor →