Transformer Não Estacionário

O Transformer Não Estacionário (Non-stationary Transformer) é uma arquitetura baseada em Transformer para previsão de séries temporais, introduzida por Yong Liu, Haixu Wu, Jianmin Wang e Mingsheng Long na NeurIPS 2022. Ele aborda uma tensão fundamental na aplicação de Transformers a séries temporais do mundo real: a superestacionarização durante o pré-processamento remove sinais não estacionários que carregam informações preditivas, enquanto entradas não estacionárias brutas causam o colapso da atenção. O modelo resolve isso por meio da estacionarização da série, combinada com um novo mecanismo de atenção desestacionarizante que restaura a distribuição temporal original nas previsões.