Non-stationary Transformer

Non-stationary Transformer는 Yong Liu, Haixu Wu, Jianmin Wang, Mingsheng Long이 NeurIPS 2022에 발표한 Transformer 기반 시계열 예측 아키텍처입니다. 이 모델은 실제 시계열에 Transformer를 적용할 때 발생하는 근본적인 문제, 즉 전처리 과정에서의 과도한 정상화(over-stationarization)는 예측 정보를 담고 있는 비정상(non-stationary) 신호를 제거해버리고, 원시 비정상 입력은 어텐션(attention)을 붕괴시키는 문제를 해결합니다. 이 모델은 시계열 정상화와 함께 새로운 비정상화 어텐션(de-stationary attention) 메커니즘을 사용하여 예측 시 원래의 시간적 분포를 복원함으로써 이 문제를 해결합니다.