Pyraformer: Pyramidal Attention Transformer för långdistans-tidsserieprognostisering

Pyraformer är en Transformer-baserad modell för långsiktig tidsserieprognostisering, introducerad av Liu et al. vid ICLR 2022. Dess centrala innovation är en Pyramidal Attention Module (PAM) som organiserar "tokens" i en hierarki med flera upplösningar. Detta gör att modellen kan fånga temporala beroenden över flera skalor samtidigt som tids- och minneskomplexiteten hålls vid O(L log L) istället för den kvadratiska kostnaden för vanlig självuppmärksamhet.