Longformer / BigBird

Los Transformers de secuencias largas, como Longformer (Beltagy, Peters & Cohan, 2020) y BigBird (Zaheer et al., 2020), reemplazan la atención O(n²) del Transformer estándar con patrones de atención dispersa que escalan linealmente, O(n), con la longitud de la secuencia. Esto permite que un solo modelo atienda miles de tokens —documentos completos, textos legales o secuencias genómicas— que no cabrían en un Transformer convencional.