Longformer / BigBird
Dugotrajni transformeri poput Longformer-a (Beltagy, Peters & Cohan, 2020) i BigBird-a (Zaheer et al., 2020) zamenjuju standardnu O(n²) pažnju transformera sa ređim pažnje koji se linearno O(n) skalira sa dužinom sekvence. Ovo omogućava jednom modelu da obradi hiljade tokena — cele dokumente, pravne tekstove ili genomske sekvence — koji ne bi stali u konvencionalni transformer.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Method map
The neighbourhood of related methods — select a node to explore.
Izvori
Kako citirati ovu stranicu
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/sr/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Графова мрежа са пажњом (Graph Attention Network, GAT)Duboko učenje↔ compare
- Mešavina eksperataDuboko učenje↔ compare
- Slučajna šumaMašinsko učenje↔ compare
- XGBoostMašinsko učenje↔ compare
Citirana u
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →