Aller au contenuScholarGate
BibliothèqueMa bibliothèqueBureauReview StudioAssistant
Se connecter
Longformer / BigBird/Preuve
Dossier de preuve de méthode

Longformer / BigBird

Long-sequence Transformers such as Longformer (Beltagy, Peters & Cohan, 2020) and BigBird (Zaheer et al., 2020) replace the standard Transformer's O(n²) attention with sparse attention patterns that scale linearly, O(n), with sequence length. This lets a single model attend over thousands of tokens — full documents, legal texts, or genomic sequences — that would not fit a conventional Transformer.

Sources recorded, not reviewed

Dossier source

Citations copiées telles quelles du dossier source de la méthode. Aucune vérification au niveau de la revendication n'en est déduite.

Long-Sequence Transformers with Sparse Attention (Longformer / BigBird)
Dossier de méthode taxonomique · ml-model / deep-learning
  • Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv. · URL
  • Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS. · URL
Ouvrir la méthode complète

Revendications organisées

Revendications enregistrées dans le registre de preuves, chacune avec sa propre évaluation.

Pas encore de revendications organisées

Cette vue n'invente pas d'évaluation de revendication lorsque le registre n'en contient aucune.

Méthodes apparentées

Généré à partir du graphe de méthodes et présenté comme des relations suggérées par la machine — aucune revendication de preuve n'est déduite.

Same method familyGraph Attention Networkmachine-suggested · Relational suggestion, not evidence.Same method familyMixture of Expertsmachine-suggested · Relational suggestion, not evidence.Same method familyRandom Forestmachine-suggested · Relational suggestion, not evidence.Same method familyXGBoostmachine-suggested · Relational suggestion, not evidence.

Statut de la preuve

Sources recorded, not reviewed

Bibliographic sources are present. Claim-level evidence review has not been performed.

Sources

2 citations enregistrées, copiées du dossier source de la méthode.

Actions

Ouvrir la page de la méthode
ScholarGate

Une bibliothèque de référence centrée sur le contenu, dédiée aux méthodes de recherche — ce qu'est chaque méthode, comment elle fonctionne et d'où elle vient.

Données ouvertes (CC-BY)

Découvrir

  • Bibliothèque
  • Rechercher des méthodes…
  • Parcourir par domaine
  • Domaines
  • Cheminement
  • Comparer
  • Quelle méthode ?

Référence

  • Disciplines
  • Atlas
  • Glossaire
  • Méthodologie
  • Philosophie

Espace de travail

  • Ma bibliothèque
  • Bureau
  • Chat

Entreprise

  • À propos
  • Tarifs
  • Contact
  • Proposer une méthode

Les entrées sont compilées à partir de sources publiées à titre de référence. Il vous appartient de vérifier l'exactitude et l'adéquation de toute information à votre propre usage.

© 2026 ScholarGate · Bibliothèque de référence des méthodes de recherche
  • Confidentialité
  • Cookies
  • Conditions
  • Supprimer le compte