Crossformer: Transformer s krížovou dimenzionálnou závislosťou pre multivariátne časové rady

Crossformer je architektúra založená na Transformere pre predikciu multivariátnych časových radov, predstavená Yunhaom Zhangom a Junchi Yanom na ICLR 2023. Na rozdiel od skorších variantov Transformerov, ktoré spracovávajú každú varietu nezávisle, Crossformer explicitne modeluje závislosti medzi dimenziami spolu s časovými vzormi. Dosahuje to prostredníctvom dvojstupňového mechanizmu pozornosti – krížom cez čas a krížom cez dimenzie – aplikovaného na segmentové vloženia organizované v hierarchickom enkodéri, čo umožňuje modelu zachytiť intra-varietné dynamiky aj inter-varietné korelácie súčasne.