Transformer no estacionario

El Transformer no estacionario es una arquitectura de predicción de series temporales basada en Transformer introducida por Yong Liu, Haixu Wu, Jianmin Wang y Mingsheng Long en NeurIPS 2022. Aborda una tensión fundamental en la aplicación de Transformers a series temporales del mundo real: la sobre-estacionarización durante el preprocesamiento elimina las señales no estacionarias que portan información predictiva, mientras que las entradas no estacionarias en bruto provocan el colapso de la atención. El modelo resuelve esto mediante la estacionarización de series emparejada con un novedoso mecanismo de atención des-estacionarizador que restaura la distribución temporal original en las predicciones.