FEDformer: Transformador con Decomposición y Mejora de Frecuencia

FEDformer es una arquitectura basada en Transformer para la predicción de series temporales multivariantes a largo plazo, introducida por Zhou et al. en ICML 2022. Su innovación central es la combinación de la descomposición estacional-tendencial con la atención en el dominio de la frecuencia: en lugar de calcular la atención completa de token a token en el dominio del tiempo, FEDformer proyecta consultas, claves y valores al dominio de la frecuencia a través de transformadas de Fourier o wavelet y opera sobre un subconjunto seleccionado aleatoriamente de componentes de frecuencia, logrando complejidad lineal mientras preserva la estructura temporal global.