iTransformer: 多変量時系列予測のための逆転Transformer

iTransformerは、LiuらによってICLR 2024で発表された多変量時系列予測のための深層学習アーキテクチャである。その中心的なアイデアは、従来のTransformerのトークン化戦略を逆転させることにある。すなわち、各時間ステップをトークンとして扱う代わりに、iTransformerは各変数（センサーチャネルまたは特徴系列）を単一のトークンとして扱い、その埋め込みは観測された全ルックバックウィンドウをエンコードする。その後、自己注意機構が変数間で適用され、系列間の依存関係を捉える一方、各トークン内のフィードフォワードネットワークが時間的パターンを学習する。