Longformer / BigBird

Langsekvens-Transformere som Longformer (Beltagy, Peters & Cohan, 2020) og BigBird (Zaheer et al., 2020) erstatter den standard Transformer-arkitekturs O(n²)-opmærksomhed med sparsomme opmærksomhedsmønstre, der skalerer lineært, O(n), med sekvenslængden. Dette gør det muligt for en enkelt model at behandle tusindvis af tokens – hele dokumenter, juridiske tekster eller genomiske sekvenser – som ikke ville passe ind i en konventionel Transformer.