Crossformer: Cross-Dimension Dependency Transformer für multivariate Zeitreihenprognosen

Crossformer ist eine Transformer-basierte Architektur für multivariate Zeitreihenprognosen, die von Yunhao Zhang und Junchi Yan auf der ICLR 2023 vorgestellt wurde. Im Gegensatz zu früheren Transformer-Varianten, die jede Variate unabhängig behandeln, modelliert Crossformer explizit Abhängigkeiten zwischen Dimensionen neben temporalen Mustern. Dies geschieht durch ein zweistufiges Aufmerksamkeitsdesign – Cross-Time und Cross-Dimension –, das auf segmentbasierten Einbettungen angewendet wird, die in einem hierarchischen Encoder organisiert sind, wodurch das Modell sowohl Intra-Variaten-Dynamiken als auch Inter-Variaten-Korrelationen gleichzeitig erfassen kann.