FEDformer: Transformer millorat per freqüència per a la descomposició

FEDformer és una arquitectura basada en Transformer per a la predicció de sèries temporals multivariants a llarg termini, introduïda per Zhou et al. a ICML 2022. La seva innovació principal és la combinació de la descomposició estacional-tendència amb l'atenció en el domini de la freqüència: en lloc de calcular l'atenció completa de token a token en el domini del temps, FEDformer projecta consultes, claus i valors al domini de la freqüència mitjançant transformacions de Fourier o wavelet i opera sobre un subconjunt seleccionat aleatòriament de components de freqüència, aconseguint una complexitat lineal mentre es preserva l'estructura temporal global.