Crossformer: Cross-Dimension Dependency Transformer til multivariat tidsserieprognose

Crossformer er en Transformer-baseret arkitektur til multivariat tidsserieprognose, introduceret af Yunhao Zhang og Junchi Yan ved ICLR 2023. I modsætning til tidligere Transformer-varianter, der behandler hver variabel uafhængigt, modellerer Crossformer eksplicit tværdimensionelle afhængigheder sammen med temporale mønstre. Den opnår dette gennem et to-trins opmærksomhedsdesign — tvær-tid og tvær-dimension — anvendt over segment-niveau-indlejringer organiseret i en hierarkisk encoder, hvilket gør det muligt for modellen at fange både intra-variabel dynamik og inter-variabel korrelationer samtidigt.