Longformer / BigBird
Transformerat e gjata, si Longformer (Beltagy, Peters & Cohan, 2020) dhe BigBird (Zaheer et al., 2020), zëvendësojnë vëmendjen standarde O(n²) të Transformerit me modele vëmendjeje të rrallë (sparse attention) që shkallëzohen linearisht, O(n), me gjatësinë e sekuencës. Kjo lejon një model të vetëm të përpunojë mijëra shenja (tokens) — dokumente të plota, tekste ligjore ose sekuenca gjenomike — të cilat nuk do të përshtateshin në një Transformer konvencional.
Lexoni metodën e plotë
Hyni me një llogari falas për ta lexuar këtë seksion.
Method map
The neighbourhood of related methods — select a node to explore.
Burimet
Si ta citoni këtë faqe
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/sq/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Rrjeti me Vëmendje GrafikeMësimi i thellë↔ compare
- Përzierje EkspertëshMësimi i thellë↔ compare
- Pylli i RastësishëmMësimi i makinës↔ compare
- XGBoostMësimi i makinës↔ compare
Cituar nga
Vutë re një problem në këtë faqe? Raportojeni ose sugjeroni një korrigjim →