Longformer / BigBird

Transformers para sequências longas, como Longformer (Beltagy, Peters & Cohan, 2020) e BigBird (Zaheer et al., 2020), substituem a atenção O(n²) padrão do Transformer por padrões de atenção esparsa que escalam linearmente, O(n), com o comprimento da sequência. Isso permite que um único modelo atenda a milhares de tokens — documentos completos, textos jurídicos ou sequências genômicas — que não caberiam em um Transformer convencional.