Crossformer: Transformer me varësi ndër-dimensionale për parashikimin e serive kohore multivariate

Crossformer është një arkitekturë e bazuar në Transformer për parashikimin e serive kohore multivariate, prezantuar nga Yunhao Zhang dhe Junchi Yan në ICLR 2023. Ndryshe nga variantet e mëparshme të Transformer-it që trajtojnë çdo variatë në mënyrë të pavarur, Crossformer modelon në mënyrë eksplicite varësitë ndër-dimensionale së bashku me modelet kohore. Kjo arrihet përmes një dizajni dy-fazor të vëmendjes — ndër-kohë dhe ndër-dimension — të aplikuar mbi embedimet në nivel segmenti të organizuara në një kodues hierarkik, duke i mundësuar modelit të kapë si dinamikën brenda-variatë ashtu edhe korrelacionet ndër-variatë njëkohësisht.