Longformer / BigBird
Трансформеры для длинных последовательностей, такие как Longformer (Beltagy, Peters & Cohan, 2020) и BigBird (Zaheer et al., 2020), заменяют стандартное квадратичное O(n²) внимание в Трансформере разреженным вниманием, которое линейно O(n) масштабируется с длиной последовательности. Это позволяет одной модели обрабатывать тысячи токенов — полные документы, юридические тексты или геномные последовательности — которые не поместились бы в обычный Трансформер.
Читать метод полностью
Войдите с бесплатным аккаунтом, чтобы прочитать этот раздел.
Method map
The neighbourhood of related methods — select a node to explore.
Источники
Как цитировать эту страницу
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/ru/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Графовая сеть внимания (Graph Attention Network, GAT)Глубокое обучение↔ compare
- Смесь экспертовГлубокое обучение↔ compare
- Случайный лесМашинное обучение↔ compare
- XGBoostМашинное обучение↔ compare
Упоминается в
Нашли ошибку на этой странице? Сообщите о ней или предложите исправление →