Non-stationary Transformer

Der Non-stationary Transformer ist eine auf Transformatoren basierende Architektur zur Zeitreihenprognose, die von Yong Liu, Haixu Wu, Jianmin Wang und Mingsheng Long auf der NeurIPS 2022 vorgestellt wurde. Er adressiert eine grundlegende Spannung bei der Anwendung von Transformatoren auf reale Zeitreihen: Eine Über-Stationarisierung während der Vorverarbeitung entfernt nicht-stationäre Signale, die prädiktive Informationen enthalten, während rohe nicht-stationäre Eingaben dazu führen, dass die Aufmerksamkeit kollabiert. Das Modell löst dies durch eine Reihen-Stationarisierung, gepaart mit einem neuartigen De-Stationarisierungs-Aufmerksamkeitsmechanismus, der die ursprüngliche zeitliche Verteilung in den Vorhersagen wiederherstellt.