FEDformer: Transformer cu frecvență sporită și descompunere

FEDformer este o arhitectură bazată pe Transformer pentru prognoza seriilor temporale multivariate pe termen lung, introdusă de Zhou et al. la ICML 2022. Inovația sa centrală este combinarea descompunerii sezoniere-tendință cu atenția în domeniul frecvenței: în loc să calculeze atenția completă de la un token la altul în domeniul timpului, FEDformer proiectează interogările (queries), cheile (keys) și valorile (values) în domeniul frecvenței prin transformări Fourier sau wavelet și operează pe un subset selectat aleatoriu de componente de frecvență, obținând complexitate liniară, păstrând în același timp structura temporală globală.