FEDformer: Frequency Enhanced Decomposed Transformer

FEDformer ist eine auf Transformer basierende Architektur für die langfristige multivariate Zeitreihenprognose, die von Zhou et al. auf der ICML 2022 vorgestellt wurde. Die Kerninnovation ist die Kombination von saisonal-trendbezogener Zerlegung mit Frequenzbereichs-Aufmerksamkeit: Anstatt einer vollständigen Token-zu-Token-Aufmerksamkeit im Zeitbereich projiziert FEDformer Queries, Keys und Values mittels Fourier- oder Wavelet-Transformationen in den Frequenzbereich und operiert auf einer zufällig ausgewählten Teilmenge von Frequenzkomponenten, wodurch eine lineare Komplexität erreicht wird, während die globale zeitliche Struktur erhalten bleibt.