Crossformer: Transformer arhitektūra ar atkarību modelēšanu starp dimensijām daudzvariantu laika sēriju prognozēšanai

Crossformer ir uz Transformer arhitektūru balstīta sistēma daudzvariantu laika sēriju prognozēšanai, ko 2023. gadā ICLR konferencē ieviesa Yunhao Zhang un Junchi Yan. Atšķirībā no iepriekšējiem Transformer variantu, kas katru varianti apstrādā neatkarīgi, Crossformer skaidri modelē atkarības starp dimensijām līdztekus ar laika modeļiem. Tas panākts, izmantojot divpakāpju uzmanības (attention) dizainu — starp laiku un starp dimensijām — kas tiek pielietots segmentu līmeņa iegulšanām (embeddings), kuras organizētas hierarhiskā kodētājā, ļaujot modelim vienlaicīgi uztvert gan intra-variantu dinamiku, gan inter-variantu korelācijas.