FEDformer: Transformer s poboljšanom frekvencijom i dekompozicijom

FEDformer je arhitektura temeljena na Transformeru za dugoročno multivarijatno predviđanje vremenskih nizova, koju su predstavili Zhou et al. na ICML-u 2022. Njegova ključna inovacija je kombinacija sezonsko-trendne dekompozcije s pažnjom u frekvencijskoj domeni: umjesto izračunavanja potpune pažnje od tokena do tokena u vremenskoj domeni, FEDformer projicira upite, ključeve i vrijednosti u frekvencijsku domenu putem Fourierovih ili valićnih transformacija i radi na slučajno odabranom podskupu frekvencijskih komponenti, postižući linearnu složenost uz očuvanje globalne vremenske strukture.