[NEEDS TRANSLATION]
Dugotrajni transformeri poput Longformera (Beltagy, Peters & Cohan, 2020) i BigBirda (Zaheer et al., 2020) zamjenjuju standardnu O(n²) pažnju transformera rijetkim (sparse) obrascima pažnje koji linearno, O(n), skaliraju s duljinom sekvence. To omogućuje jednom modelu da obrati pažnju na tisuće tokena — cijele dokumente, pravne tekstove ili genomske sekvence — koji ne bi stali u konvencionalni transformer.
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Method map
The neighbourhood of related methods — select a node to explore.
Izvori
Kako citirati ovu stranicu
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/hr/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Grafička mrežna mreža s pažnjom (Graph Attention Network, GAT)Duboko učenje↔ compare
- Mješavina stručnjakaDuboko učenje↔ compare
- Slučajna šumaStrojno učenje↔ compare
- XGBoostStrojno učenje↔ compare
Citirana u
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →