Pyraformer: Transformer de Atenção Piramidal para Previsão de Séries Temporais de Longo Alcance

Pyraformer é um modelo baseado em Transformer para previsão de séries temporais de longo alcance introduzido por Liu et al. na ICLR 2022. Sua inovação central é um Módulo de Atenção Piramidal (PAM) que organiza tokens em uma hierarquia multirresolução, permitindo que o modelo capture dependências temporais em múltiplas escalas, mantendo a complexidade de tempo e memória em O(L log L) em vez do custo quadrático da autoatenção vanilla.