Transformer Non-staționar

Transformer Non-staționar este o arhitectură bazată pe Transformer pentru prognoza seriilor temporale, introdusă de Yong Liu, Haixu Wu, Jianmin Wang și Mingsheng Long la NeurIPS 2022. Aceasta abordează o tensiune fundamentală în aplicarea Transformer-elor la serii temporale din lumea reală: supra-staționarizarea în timpul preprocesării elimină semnalele non-staționare care conțin informații predictive, în timp ce intrările non-staționare brute determină colapsul atenției. Modelul rezolvă acest lucru prin staționarizarea seriilor, cuplată cu un mecanism de atenție de-staționarizare nou, care restaurează distribuția temporală originală în predicții.