Longformer / BigBird
Gar Pārliecības modeļi, piemēram, Longformer (Beltagy, Peters & Cohan, 2020) un BigBird (Zaheer et al., 2020), aizstāj standarta Transformer arhitektūras O(n²) uzmanības mehānismu ar izkliedētu (sparse) uzmanības modeli, kas secības garumam (n) pieaug lineāri, O(n). Tas ļauj vienam modelim apstrādāt tūkstošiem ievietojumu (tokens) — pilnus dokumentus, juridiskus tekstus vai genoma sekvences — kas nebūtu iespējams ar parastu Transformer modeli.
Lasīt pilno metodes aprakstu
Piesakieties ar bezmaksas kontu, lai lasītu šo sadaļu.
Metožu karte
Saistīto metožu apkaime — atlasiet mezglu, lai izpētītu.
Avoti
Kā citēt šo lapu
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/lv/deep-learning/longformer-bigbird
Kura metode?
Novietojiet šo metodi blakus tās tuvākajām radniecīgajām metodēm un lasiet tās līdzās — bibliotēka noliek grāmatas uz galda; izvēle ir jūsu.
- Grafu uzmanības tīkls (Graph Attention Network, GAT)Dziļā mācīšanās↔ salīdzināt
- Ekspertu maisījumsDziļā mācīšanās↔ salīdzināt
- Random ForestMašīnmācīšanās↔ salīdzināt
- XGBoostMašīnmācīšanās↔ salīdzināt
Uz to atsaucas
Pamanījāt kļūdu šajā lapā? Ziņojiet vai ierosiniet labojumu →