Niet-stationaire Transformer

Niet-stationaire Transformer is een op Transformer gebaseerde architectuur voor tijdreeksvoorspelling, geïntroduceerd door Yong Liu, Haixu Wu, Jianmin Wang en Mingsheng Long op NeurIPS 2022. Het pakt een fundamentele spanning aan bij het toepassen van Transformers op real-world tijdreeksen: over-stationarisatie tijdens voorbewerking verwijdert niet-stationaire signalen die voorspellende informatie bevatten, terwijl ruwe niet-stationaire inputs ervoor zorgen dat de aandacht instort. Het model lost dit op door reeksstationarisatie gekoppeld aan een nieuw de-stationair aandachtmechanisme dat de oorspronkelijke temporele distributie in voorspellingen herstelt.