Ikke-stasjonær Transformer

Ikke-stasjonær Transformer er en Transformer-basert arkitektur for tidsserieprognoser introdusert av Yong Liu, Haixu Wu, Jianmin Wang og Mingsheng Long på NeurIPS 2022. Den adresserer en fundamental spenning i anvendelsen av Transformere på virkelige tidsserier: over-stasjonarisering under forbehandling fjerner ikke-stasjonære signaler som bærer prediktiv informasjon, mens rå ikke-stasjonære innganger får oppmerksomheten til å kollapse. Modellen løser dette gjennom serie-stasjonarisering kombinert med en ny de-stasjonær oppmerksomhetsmekanisme som gjenoppretter den opprinnelige temporale distribusjonen i prediksjoner.