Transformer Non-Stasioner

Transformer Non-Stasioner adalah arsitektur peramalan deret waktu berbasis Transformer yang diperkenalkan oleh Yong Liu, Haixu Wu, Jianmin Wang, dan Mingsheng Long di NeurIPS 2022. Arsitektur ini mengatasi ketegangan mendasar dalam menerapkan Transformer pada deret waktu dunia nyata: over-stationarization selama pra-pemrosesan menghilangkan sinyal non-stasioner yang membawa informasi prediktif, sementara input non-stasioner mentah menyebabkan perhatian runtuh. Model ini menyelesaikan masalah ini melalui stasionarisasi deret yang dipasangkan dengan mekanisme perhatian de-stasioner baru yang mengembalikan distribusi temporal asli dalam prediksi.