FEDformer: Трансформер з покращеною частотою та розкладанням

FEDformer — це архітектура на основі Трансформера для довгострокового багатовимірного прогнозування часових рядів, представлена Zhou et al. на ICML 2022. Її ключовим нововведенням є поєднання розкладання на сезонну та трендову складові з увагою в частотній області: замість обчислення повної уваги від токена до токена в часовій області, FEDformer проєктує запити, ключі та значення в частотну область за допомогою перетворень Фур'є або вейвлетів і працює з випадково вибраною підмножиною частотних компонентів, досягаючи лінійної складності при збереженні глобальної часової структури.