Longformer / BigBird
Az olyan hosszú szekvenciákat feldolgozó Transformer-modellek, mint a Longformer (Beltagy, Peters & Cohan, 2020) és a BigBird (Zaheer et al., 2020) a standard Transformer O(n²) komplexitású figyelmi mechanizmusát egy ritka (sparse) figyelmi mintázattal helyettesítik, amely a szekvenciahosszúsággal lineárisan, O(n) módon skálázódik. Ez lehetővé teszi egyetlen modell számára, hogy több ezer tokent – teljes dokumentumokat, jogi szövegeket vagy genomikai szekvenciákat – dolgozzon fel, amelyek egy hagyományos Transformerbe nem férnének bele.
A teljes módszer elolvasása
Jelentkezzen be ingyenes fiókkal a szakasz elolvasásához.
Method map
The neighbourhood of related methods — select a node to explore.
Források
Hogyan hivatkozzon erre az oldalra
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/hu/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Gráfon alapuló figyelmi hálózatMélytanulás↔ compare
- Szakértők keverékeMélytanulás↔ compare
- Véletlen erdőGépi tanulás↔ compare
- XGBoostGépi tanulás↔ compare
Hivatkozik rá
Hibát talált ezen az oldalon? Jelentse, vagy javasoljon javítást →