Longformer / BigBird

Transformer urutan panjang seperti Longformer (Beltagy, Peters & Cohan, 2020) dan BigBird (Zaheer et al., 2020) mengganti perhatian O(n²) standar Transformer dengan pola perhatian jarang yang berskala linier, O(n), dengan panjang urutan. Hal ini memungkinkan satu model untuk memperhatikan ribuan token — dokumen lengkap, teks hukum, atau urutan genomik — yang tidak muat dalam Transformer konvensional.