Crossformer: Transformer s křížovou závislostí dimenzí pro vícerozměrné časové řady

Crossformer je architektura založená na Transformeru pro vícerozměrné časové řady, kterou představili Yunhao Zhang a Junchi Yan na konferenci ICLR 2023. Na rozdíl od starších variant Transformeru, které zacházejí s každým variátem nezávisle, Crossformer explicitně modeluje závislosti mezi dimenzemi spolu s časovými vzory. Dosahuje toho pomocí dvouúrovňového návrhu pozornosti – křížového času a křížových dimenzí – aplikovaného na segmentové vnoření organizované v hierarchickém enkodéru, což modelu umožňuje současně zachytit jak dynamiku v rámci variátů, tak korelace mezi variáty.