Longformer / BigBird

Transformer jangka panjang seperti Longformer (Beltagy, Peters & Cohan, 2020) dan BigBird (Zaheer et al., 2020) menggantikan perhatian O(n²) standard Transformer dengan corak perhatian jarang yang berskala secara linear, O(n), dengan panjang jujukan. Ini membolehkan satu model tunggal memberi perhatian kepada ribuan token — dokumen penuh, teks undang-undang, atau jujukan genomik — yang tidak akan muat dalam Transformer konvensional.