Crossformer: Cross-Dimension Dependency Transformer voor Multivariabele Tijdreeksvoorspelling

Crossformer is een op Transformer gebaseerde architectuur voor multivariabele tijdreeksvoorspelling, geïntroduceerd door Yunhao Zhang en Junchi Yan op ICLR 2023. In tegenstelling tot eerdere Transformer-varianten die elke variabele onafhankelijk behandelen, modelleert Crossformer expliciet afhankelijkheden tussen dimensies naast temporele patronen. Het bereikt dit door een tweefasig attentie-ontwerp — cross-time en cross-dimension — toegepast op segment-gebaseerde embeddings georganiseerd in een hiërarchische encoder, waardoor het model zowel intra-variabele dynamiek als inter-variabele correlaties tegelijkertijd kan vastleggen.