Informerは、Zhouらによって2021年に導入されたTransformerベースのモデルであり、長系列時系列予測のために、ProbSparse自己注意メカニズムを使用して標準Transformerの計算複雑性をO(L log L)に低減します。これは、数千ステップ先の予測を必要とする問題のために構築されています。

標準的なTransformerは、すべてのタイムステップを他のすべてのタイムステップと比較するため、その注意コストはシーケンス長の二乗で増加し、非常に長い系列には実用的でなくなります。Informerの洞察は、少数のクエリのみがほとんどの注意重みを持つことであり、残りはほとんど寄与しないということです。これらの支配的なクエリを選択し、無視できるものをスキップすることにより、有用な長距離構造を維持しながらコストを劇的に削減し、非常に長いホライズンでの予測を可能にします。