Transformer phi-stationarity (Non-stationary Transformer)

Non-stationary Transformer là một kiến trúc dự báo chuỗi thời gian dựa trên Transformer, được giới thiệu bởi Yong Liu, Haixu Wu, Jianmin Wang và Mingsheng Long tại NeurIPS 2022. Nó giải quyết một mâu thuẫn cơ bản trong việc áp dụng Transformer cho chuỗi thời gian thực tế: việc chuẩn hóa quá mức (over-stationarization) trong tiền xử lý sẽ loại bỏ các tín hiệu phi-stationarity mang thông tin dự báo, trong khi đầu vào phi-stationarity thô gây ra sự sụp đổ của cơ chế chú ý (attention). Mô hình giải quyết vấn đề này thông qua việc chuẩn hóa chuỗi kết hợp với một cơ chế chú ý phi-stationarity mới lạ, phục hồi lại phân phối thời gian ban đầu trong các dự đoán.