Crossformer: Kereszt-dimenziós függőségi transzformer többváltozós idősor-előrejelzéshez

A Crossformer egy transzformer-alapú architektúra többváltozós idősor-előrejelzéshez, amelyet Yunhao Zhang és Junchi Yan mutatott be az ICLR 2023 konferencián. Ellentétben a korábbi transzformer-variánsokkal, amelyek minden változót (variate) függetlenül kezelnek, a Crossformer explicit módon modellezi a dimenziók közötti függőségeket az időbeli mintázatok mellett. Ezt egy kétszakaszos figyelem (attention) kialakítással éri el – kereszt-idő és kereszt-dimenzió –, amelyet szegmensszintű beágyazásokon (embeddings) alkalmaznak egy hierarchikus kódolóban (encoder), lehetővé téve a modell számára, hogy egyszerre rögzítse az intra-variábilis dinamikát és az inter-variábilis korrelációkat.