Crossformer: Transformer de Dependencia Transversal para Predicción de Series Temporales Multivariantes

Crossformer es una arquitectura basada en Transformer para la predicción de series temporales multivariantes, introducida por Yunhao Zhang y Junchi Yan en ICLR 2023. A diferencia de variantes anteriores de Transformer que tratan cada variate de forma independiente, Crossformer modela explícitamente las dependencias interdimensionales junto con los patrones temporales. Lo logra a través de un diseño de atención en dos etapas — transversal en el tiempo y transversal en la dimensión — aplicado sobre incrustaciones a nivel de segmento organizadas en un codificador jerárquico, lo que permite al modelo capturar simultáneamente tanto la dinámica intra-variate como las correlaciones inter-variate.