Longformer / BigBird
Transformery długosekwencyjne, takie jak Longformer (Beltagy, Peters & Cohan, 2020) i BigBird (Zaheer et al., 2020), zastępują standardową uwagę transformera o złożoności O(n²) rzadkimi wzorcami uwagi, które skalują się liniowo, O(n), wraz z długością sekwencji. Pozwala to pojedynczemu modelowi przetwarzać tysiące tokenów — całe dokumenty, teksty prawne lub sekwencje genomowe — które nie zmieściłyby się w konwencjonalnym transformerze.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Method map
The neighbourhood of related methods — select a node to explore.
Źródła
Jak cytować tę stronę
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/pl/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Sieć uwagi grafowejUczenie głębokie↔ compare
- Mixture of ExpertsUczenie głębokie↔ compare
- Random ForestUczenie maszynowe↔ compare
- XGBoostUczenie maszynowe↔ compare
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →