Longformer / BigBird
Pikad Transformerid, nagu Longformer (Beltagy, Peters & Cohan, 2020) ja BigBird (Zaheer et al., 2020), asendavad standardse Transformeri O(n²) tähelepanuharjumuse harvaesineva tähelepanumustriga, mis skaalub lineaarselt, O(n), järjestuse pikkusega. See võimaldab ühel mudelil töödelda tuhandeid tokeneid – täisdokumente, juriidilisi tekste või genoomilisi järjestusi –, mis ei mahuks tavalisse Transformerisse.
Loe meetodi täielikku kirjeldust
Selle osa lugemiseks logi sisse tasuta kontoga.
Method map
The neighbourhood of related methods — select a node to explore.
Allikad
Kuidas sellele lehele viidata
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/et/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Graafiline tähelepanuvõrkSüvaõpe↔ compare
- Ekspertide seguSüvaõpe↔ compare
- Juhuslik metsMasinõpe↔ compare
- XGBoostMasinõpe↔ compare
Sellele viitavad
Märkasid sellel lehel viga? Teata sellest või paku parandust →