Crossformer: Cross-Dimension Dependency Transformer for Multivariate Time Series Forecasting

Crossformer er en Transformer-basert arkitektur for multivariat tidsserieprognostisering, introdusert av Yunhao Zhang og Junchi Yan ved ICLR 2023. I motsetning til tidligere Transformer-varianter som behandler hver variabel uavhengig, modellerer Crossformer eksplisitt kryssdimensjonale avhengigheter sammen med temporale mønstre. Den oppnår dette gjennom et to-trinns oppmerksomhetsdesign – kryss-tid og kryss-dimensjon – anvendt over segmentnivå-innbygginger organisert i en hierarkisk enkoder, som gjør at modellen kan fange både intra-variabel dynamikk og inter-variabel korrelasjoner samtidig.