Longformer / BigBird
Les transformeurs pour séquences longues, tels que Longformer (Beltagy, Peters & Cohan, 2020) et BigBird (Zaheer et al., 2020), remplacent l'attention quadratique O(n²) du transformeur standard par des motifs d'attention épars dont la complexité est linéaire, O(n), par rapport à la longueur de la séquence. Cela permet à un modèle unique de traiter des milliers de jetons — documents complets, textes juridiques ou séquences génomiques — qui ne rentreraient pas dans un transformeur conventionnel.
Lire la méthode complète
Connectez-vous avec un compte gratuit pour lire cette section.
Method map
The neighbourhood of related methods — select a node to explore.
Sources
Comment citer cette page
ScholarGate. (2026, June 1). Long-Sequence Transformers with Sparse Attention (Longformer / BigBird). ScholarGate. https://scholargate.app/fr/deep-learning/longformer-bigbird
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Réseau d'attention sur grapheApprentissage profond↔ compare
- Mélange d'expertsApprentissage profond↔ compare
- Forêt AléatoireApprentissage automatique↔ compare
- XGBoostApprentissage automatique↔ compare
Référencée par
Une erreur sur cette page ? Signalez-la ou proposez une correction →