Transformeur non stationnaire

Le Transformeur non stationnaire (Non-stationary Transformer) est une architecture de prévision de séries temporelles basée sur les transformeurs, introduite par Yong Liu, Haixu Wu, Jianmin Wang et Mingsheng Long à NeurIPS 2022. Il aborde une tension fondamentale dans l'application des transformeurs aux séries temporelles réelles : la sur-stationnarisation pendant le prétraitement élimine les signaux non stationnaires porteurs d'informations prédictives, tandis que des entrées brutes non stationnaires provoquent l'effondrement de l'attention. Le modèle résout ce problème par une stationnarisation des séries associée à un nouveau mécanisme d'attention dé-stationnaire qui restaure la distribution temporelle originale dans les prévisions.