Longformer / BigBird
Трансформери за дълги последователности като Longformer (Beltagy, Peters & Cohan, 2020) и BigBird (Zaheer et al., 2020) заменят стандартното внимание O(n²) на Трансформера с разредени модели на внимание, които мащабират линейно, O(n), спрямо дължината на последователността. Това позволява на един модел да обхваща хиляди токени — цели документи, правни текстове или геномни последователности — които не биха се побрали в конвенционален Трансформер.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Method map
The neighbourhood of related methods — select a node to explore.
Източници
Как да цитирате тази страница
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/bg/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Графова невронна мрежа с внимание (GAT)Дълбоко обучение↔ compare
- Смес от експертиДълбоко обучение↔ compare
- Случайна гораМашинно обучение↔ compare
- XGBoostМашинно обучение↔ compare
Цитиран в
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →