FEDformer : Transformeur décomposé à fréquence améliorée

FEDformer est une architecture basée sur Transformer pour la prévision de séries temporelles multivariées à long terme, introduite par Zhou et al. à l'ICML 2022. Son innovation principale est la combinaison de la décomposition saisonnière-tendancielle avec l'attention dans le domaine fréquentiel : au lieu de calculer une attention complète de jeton à jeton dans le domaine temporel, FEDformer projette les requêtes, clés et valeurs dans le domaine fréquentiel via des transformées de Fourier ou d'ondelettes et opère sur un sous-ensemble aléatoirement sélectionné de composantes fréquentielles, atteignant une complexité linéaire tout en préservant la structure temporelle globale.