Crossformer : Transformer à dépendances inter-dimensions pour la prévision de séries temporelles multivariées

Crossformer est une architecture basée sur Transformer pour la prévision de séries temporelles multivariées, introduite par Yunhao Zhang et Junchi Yan à l'ICLR 2023. Contrairement aux variantes de Transformer antérieures qui traitent chaque variable indépendamment, Crossformer modélise explicitement les dépendances inter-dimensions parallèlement aux motifs temporels. Il y parvient grâce à une conception d'attention en deux étapes — inter-temporelle et inter-dimensionnelle — appliquée sur des plongements au niveau des segments organisés dans un encodeur hiérarchique, permettant au modèle de capturer simultanément les dynamiques intra-variable et les corrélations inter-variables.