Crossformer: Cross-Dimension Dependency Transformer per a Predicció de Sèries Temporals Multivariants

Crossformer és una arquitectura basada en Transformer per a la predicció de sèries temporals multivariants, introduïda per Yunhao Zhang i Junchi Yan a ICLR 2023. A diferència de variants anteriors de Transformer que tracten cada variat independentment, Crossformer modela explícitament dependències entre dimensions juntament amb patrons temporals. Ho aconsegueix mitjançant un disseny d'atenció en dues etapes — temporal i entre dimensions — aplicat sobre embeddings de nivell de segment organitzats en un codificador jeràrquic, permetent al model capturar simultàniament dinàmiques intra-variat i correlacions inter-variat.