FEDformer: 周波数強調型分解トランスフォーマー

FEDformerは、ZhouらがICML 2022で発表した、長期多変量時系列予測のためのTransformerベースのアーキテクチャです。その核となる革新は、季節トレンド分解と周波数領域アテンションの組み合わせにあります。時間領域で完全なトークン間アテンションを計算する代わりに、FEDformerはクエリ、キー、バリューをフーリエ変換またはウェーブレット変換を介して周波数領域に投影し、周波数成分のランダムに選択されたサブセット上で操作することで、グローバルな時間構造を維持しつつ線形計算量を達成します。