Crossformer: Cross-Dimension Dependency Transformer multivariatsioonilise ajaseeria prognoosimiseks

Crossformer on Transformer-põhine arhitektuur multivariatsioonilise ajaseeria prognoosimiseks, mille autoriteks on Yunhao Zhang ja Junchi Yan ICLR 2023-l. Erinevalt varasematest Transformer-variantidest, mis käsitlevad iga muutujat iseseisvalt, modelleerib Crossformer ajamustrite kõrval ka mõõtmetevahelisi sõltuvusi. See saavutatakse kahefaasilise tähelepanu disainiga — ajadevaheline ja mõõtmetevaheline — mida rakendatakse hierarhilises enkoodris organiseeritud segmendipõhistele representatsioonidele, võimaldades mudelil samaaegselt haarata nii muutujasisest dünaamikat kui ka muutujatevahelisi korrelatsioone.