Crossformer: Transformer Rentasan-Dimensi untuk Peramalan Deret Masa Multivariat

Crossformer ialah seni bina berasaskan Transformer untuk peramalan deret masa multivariat, diperkenalkan oleh Yunhao Zhang dan Junchi Yan di ICLR 2023. Tidak seperti varian Transformer terdahulu yang menganggap setiap variat secara berasingan, Crossformer secara eksplisit memodelkan kebergantungan rentas-dimensi bersama corak temporal. Ia mencapai ini melalui reka bentuk perhatian dua peringkat — rentas-masa dan rentas-dimensi — yang digunakan ke atas embedding peringkat segmen yang disusun dalam pengekod hierarkis, membolehkan model menangkap dinamik intra-variat dan korelasi antara-variat secara serentak.