FEDformer: Улучшенный частотный трансформер с разложением

FEDformer — это архитектура на основе трансформера для долгосрочного многомерного прогнозирования временных рядов, представленная Чжоу и др. на конференции ICML 2022. Её ключевое новшество заключается в сочетании разложения на сезонную и трендовую составляющие с вниманием в частотной области: вместо вычисления полного внимания от токена к токену во временной области, FEDformer проецирует запросы, ключи и значения в частотную область посредством преобразований Фурье или вейвлет-преобразований и оперирует случайно выбранным подмножеством частотных компонент, достигая линейной сложности при сохранении глобальной временной структуры.