Crossformer: Transformer Dependensi Lintas-Dimensi untuk Peramalan Deret Waktu Multivariat

Crossformer adalah arsitektur berbasis Transformer untuk peramalan deret waktu multivariat, yang diperkenalkan oleh Yunhao Zhang dan Junchi Yan di ICLR 2023. Berbeda dengan varian Transformer sebelumnya yang memperlakukan setiap variat secara independen, Crossformer secara eksplisit memodelkan dependensi lintas-dimensi bersama dengan pola temporal. Hal ini dicapai melalui desain perhatian dua tahap — lintas-waktu dan lintas-dimensi — yang diterapkan pada embedding tingkat segmen yang diorganisir dalam encoder hierarkis, memungkinkan model untuk menangkap dinamika intra-variat dan korelasi antar-variat secara bersamaan.