畳み込みモデルとシーケンスモデル

畳み込みネットワークは、画像のようなグリッド状データの空間構造を利用する一方、リカレントモデルやアテンションベースモデルは、テキストや音声のようなシーケンスを処理する。

Definition

畳み込みモデルは、学習されたフィルタをグリッド全体に適用し、同じ特徴検出器がすべての位置で再利用されるようにする。一方、シーケンスモデルは、時間経過とともに状態を維持するか、位置全体にアテンションを適用することで、順序付けられた入力を処理する。各アーキテクチャは、そのデータタイプに適した事前仮定を符号化している。

Scope

このトピックでは、構造化データに特化したアーキテクチャについて扱う。具体的には、局所フィルタ、重み共有、プーリングを備えた畳み込みニューラルネットワーク（画像やその他のグリッド用）、長距離依存性を持つシーケンス用のリカレントネットワークと長・短期記憶ユニット、および位置間の関係をモデル化するアテンションメカニズムである。これらのアーキテクチャを効果的にする帰納的バイアスについても論じる。

Core questions

• 畳み込みはどのようにして画像の並進構造を利用するのか？
• 重み共有とプーリングは汎化と効率にどのように貢献するのか？
• リカレントユニットと長・短期記憶ユニットは長いシーケンスをどのように処理するのか？
• アテンションは純粋なリカレント処理に何を追加するのか？

Key theories

畳み込みと重み共有

畳み込み層は、同じ小さなフィルタをすべての位置に適用することで、パラメータを劇的に削減し、並進同変性を組み込む。これにより、ある場所で学習された特徴がどこにでも転移するようになる。

長・短期記憶

長・短期記憶のようなゲート付きリカレントユニットは、保護された記憶セルを維持することで、リカレントネットワークが、単純なリカレントでは不可能な、多くのタイムステップにわたる依存関係を学習することを可能にする。

シーケンスに対するアテンション

アテンションメカニズムは、モデルがシーケンスのすべての位置からの情報を直接重み付けして結合することを可能にし、長距離関係を捉え、高度に並列なシーケンス処理を可能にする。

Clinical relevance

畳み込みネットワークはコンピュータビジョンと医用画像を革新し、シーケンスモデルは音声認識と機械翻訳を推進した。また、アテンションメカニズムを通じて、現代の自然言語システムを支える大規模言語モデルが生まれた。アーキテクチャとデータ構造を一致させることは、応用深層学習における中心的な設計原則であり続けている。

History

畳み込みネットワークは、福島邦彦のネオコグニトロンとLeCunの数字認識に関する研究から発展し、2012年の大規模画像分類における成功が深層学習ブームに火をつけた。1997年に導入された長・短期記憶は、シーケンスの長距離依存性問題を解決し、後にアテンションメカニズムがトランスフォーマーモデルの基盤となった。

Key figures

• Yann LeCun
• Sepp Hochreiter
• Juergen Schmidhuber
• Kunihiko Fukushima

Seminal works

• hochreiter1997
• lecun2015
• goodfellow2016

Frequently asked questions

畳み込みネットワークはなぜ画像処理に優れているのか？

画像には、どこにでも現れる可能性のある局所的な構造とパターンがある。畳み込みは画像全体に同じフィルタを適用するため、エッジのような特徴はどこで発生しても検出され、全結合層よりもはるかに少ないパラメータで、より優れた汎化性能を発揮する。

長・短期記憶はどのような問題を解決するのか？

単純なリカレントネットワークは、勾配消失のため、多くのタイムステップにわたる依存関係を学習するのに苦労する。長・短期記憶は、長い期間にわたって情報を保持するゲート付き記憶セルを導入し、長距離の時系列パターンを学習することを可能にする。