Pyraformer: Piramidalny Transformer z Uwagą do Prognozowania Długoterminowych Szeregów Czasowych

Pyraformer to model oparty na architekturze Transformer, przeznaczony do prognozowania długoterminowych szeregów czasowych, wprowadzony przez Liu i wsp. na konferencji ICLR 2022. Jego kluczową innowacją jest moduł uwagi piramidalnej (Pyramidal Attention Module, PAM), który organizuje tokeny w hierarchię wielorozdzielczościową, umożliwiając modelowi wychwytywanie zależności czasowych w wielu skalach przy zachowaniu złożoności czasowej i pamięciowej na poziomie O(L log L), zamiast kwadratowego kosztu standardowej uwagi własnej.