Non-stationary Transformer

Non-stationary Transformer er en Transformer-baseret arkitektur til tidsserieprognoser introduceret af Yong Liu, Haixu Wu, Jianmin Wang og Mingsheng Long på NeurIPS 2022. Den adresserer en fundamental spænding ved anvendelse af Transformers på virkelige tidsserier: over-stationarisering under forbehandling fjerner ikke-stationære signaler, der bærer prædiktiv information, mens rå ikke-stationære input får attention til at kollapse. Modellen løser dette gennem serie-stationarisering parret med en ny de-stationariserende attention-mekanisme, der genopretter den oprindelige temporale fordeling i forudsigelser.