Longformer / BigBird
Transformers per a seqüències llargues com Longformer (Beltagy, Peters & Cohan, 2020) i BigBird (Zaheer et al., 2020) substitueixen l'atenció O(n²) estàndard del Transformer per patrons d'atenció dispersos que escalen linealment, O(n), amb la longitud de la seqüència. Això permet que un sol model atengui milers de tokens — documents complets, textos legals o seqüències genòmiques — que no cabrien en un Transformer convencional.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Method map
The neighbourhood of related methods — select a node to explore.
Fonts
Com citar aquesta pàgina
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/ca/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Graph Attention NetworkAprenentatge profund↔ compare
- Mixture of ExpertsAprenentatge profund↔ compare
- Random ForestAprenentatge automàtic↔ compare
- XGBoostAprenentatge automàtic↔ compare
Citat per
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →