Crossformer: Transformer pentru dependențe inter-dimensionale în prognoza seriilor temporale multivariate

Crossformer este o arhitectură bazată pe Transformer pentru prognoza seriilor temporale multivariate, introdusă de Yunhao Zhang și Junchi Yan la ICLR 2023. Spre deosebire de variantele anterioare de Transformer care tratează fiecare variabilă independent, Crossformer modelează explicit dependențele inter-dimensionale alături de tiparele temporale. Aceasta realizează acest lucru printr-un design de atenție în două etape — inter-timp și inter-dimensiune — aplicat peste embedding-uri la nivel de segment organizate într-un encoder ierarhic, permițând modelului să capteze simultan atât dinamica intra-variabilă, cât și corelațiile inter-variabile.