Pyraformer : Transformer pyramidal pour la prévision de séries temporelles à longue portée

Pyraformer est un modèle basé sur Transformer pour la prévision de séries temporelles à longue portée, introduit par Liu et al. à l'ICLR 2022. Son innovation centrale est un module d'attention pyramidal (Pyramidal Attention Module, PAM) qui organise les tokens en une hiérarchie multi-résolution, permettant au modèle de capturer les dépendances temporelles à plusieurs échelles tout en maintenant la complexité temporelle et mémoire à O(L log L) plutôt qu'au coût quadratique de l'auto-attention standard.