Longformer / BigBird
Pitkän sekvenssin Transformerit, kuten Longformer (Beltagy, Peters & Cohan, 2020) ja BigBird (Zaheer et al., 2020), korvaavat standardin Transformerin O(n²)-huomion harvoilla huomiokuvioilla, jotka skaalautuvat lineaarisesti, O(n), sekvenssin pituuden mukaan. Tämä mahdollistaa yhden mallin tarkastella tuhansia tokeneita – kokonaisia asiakirjoja, oikeudellisia tekstejä tai genomisia sekvenssejä – jotka eivät mahtuisi tavanomaiseen Transformeriin.
Lue koko menetelmä
Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.
Method map
The neighbourhood of related methods — select a node to explore.
Lähteet
Näin viittaat tähän sivuun
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/fi/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Graafiverkko (Graph Attention Network, GAT)Syväoppiminen↔ compare
- Asiantuntijoiden sekoitusSyväoppiminen↔ compare
- Random ForestKoneoppiminen↔ compare
- XGBoostKoneoppiminen↔ compare
Tähän viittaavat
Huomasitko virheen tällä sivulla? Ilmoita siitä tai ehdota korjausta →