Pyraformer: Transformer de Atención Piramidal para Pronóstico de Series Temporales de Largo Alcance

Pyraformer es un modelo basado en Transformer para pronóstico de series temporales de largo alcance introducido por Liu et al. en ICLR 2022. Su innovación central es un Módulo de Atención Piramidal (PAM) que organiza los tokens en una jerarquía multirresolución, permitiendo al modelo capturar dependencias temporales en múltiples escalas mientras mantiene la complejidad temporal y de memoria en O(L log L) en lugar del costo cuadrático de la autoatención estándar.