Longformer / BigBird
Dlhé sekvenčné transformery, ako napríklad Longformer (Beltagy, Peters & Cohan, 2020) a BigBird (Zaheer et al., 2020), nahrádzajú štandardnú kvadratickú pozornosť O(n²) v transformeri riedkymi vzormi pozornosti, ktoré škálujú lineárne, O(n), s dĺžkou sekvencie. To umožňuje jedinému modelu spracovať tisíce tokenov — celé dokumenty, právne texty alebo genómové sekvencie — ktoré by sa do konvenčného transformera nezmestili.
Prečítať celú metódu
Ak si chcete prečítať túto sekciu, prihláste sa s bezplatným účtom.
Method map
The neighbourhood of related methods — select a node to explore.
Zdroje
Ako citovať túto stránku
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/sk/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Grafová at enčná sieťHlboké učenie↔ compare
- Zmes expertovHlboké učenie↔ compare
- Náhodný lesStrojové učenie↔ compare
- XGBoostStrojové učenie↔ compare
Odkazujú sem
Našli ste na tejto stránke chybu? Nahláste ju alebo navrhnite opravu →