Longformer / BigBird

Οι Μετασχηματιστές μεγάλων ακολουθιών, όπως οι Longformer (Beltagy, Peters & Cohan, 2020) και BigBird (Zaheer et al., 2020), αντικαθιστούν την τυπική προσοχή O(n²) του Μετασχηματιστή με αραιά μοτίβα προσοχής που κλιμακώνονται γραμμικά, O(n), με το μήκος της ακολουθίας. Αυτό επιτρέπει σε ένα μόνο μοντέλο να εστιάζει σε χιλιάδες διακριτικά – πλήρη έγγραφα, νομικά κείμενα ή γονιδιωματικές ακολουθίες – που δεν θα χωρούσαν σε έναν συμβατικό Μετασχηματιστή.