Transformer Tidak Stasioner

Transformer Tidak Stasioner ialah seni bina peramalan siri masa berasaskan Transformer yang diperkenalkan oleh Yong Liu, Haixu Wu, Jianmin Wang, dan Mingsheng Long di NeurIPS 2022. Ia menangani ketegangan asas dalam mengaplikasikan Transformer pada siri masa dunia sebenar: pengstasioneran berlebihan semasa pra-pemprosesan menyingkirkan isyarat tidak stasioner yang membawa maklumat ramalan, manakala input tidak stasioner mentah menyebabkan perhatian menjadi lemah. Model ini menyelesaikannya melalui stasionerisasi siri yang dipadankan dengan mekanisme perhatian de-stasioner novel yang memulihkan taburan temporal asal dalam ramalan.