Longformer / BigBird

Trasformatori per sequenze lunghe come Longformer (Beltagy, Peters & Cohan, 2020) e BigBird (Zaheer et al., 2020) sostituiscono l'attenzione O(n²) dello standard Transformer con pattern di attenzione sparsi che scalano linearmente, O(n), con la lunghezza della sequenza. Ciò consente a un singolo modello di attendere migliaia di token — documenti completi, testi legali o sequenze genomiche — che non entrerebbero in un Transformer convenzionale.