ニューラルネットワークアーキテクチャ

ニューラルネットワークアーキテクチャは、人工ニューロンがどのように層に接続されるかを指定し、ネットワークが表現できる関数のファミリーを定義します。

Definition

ニューラルネットワークアーキテクチャとは、人工ニューロンを接続された層に配置したものであり、各ニューロンは入力の重み付き合計の非線形関数を計算します。このアーキテクチャは、ネットワークの容量と、学習問題にもたらす帰納的バイアスを決定します。

Scope

このトピックでは、ニューラルネットワークの構成要素と構造について説明します。これには、重み付けされた入力と非線形活性化を持つ人工ニューロン、全結合型フィードフォワード層と多層パーセプトロン、シグモイドやReLUなどの活性化関数、そして深さ、幅、接続性がネットワークが学習できる内容をどのように形成するかが含まれます。また、普遍近似特性とアーキテクチャ選択の役割についても紹介します。

Core questions

• 人工ニューロンはどのように出力を計算しますか？
• 多層ネットワークは単層では表現できない何を表現できますか？
• 活性化関数は学習にどのように影響しますか？
• 深さと幅は容量と学習可能性の間でどのようにトレードオフされますか？

Key theories

普遍近似

十分に広い単一の隠れ層を持つフィードフォワードネットワークは、有界領域上の任意の連続関数を近似でき、ニューラルネットワークが柔軟な関数近似器であることを確立します。

活性化関数と非線形性

非線形活性化は、多層ネットワークにその能力を与えるものです。特にReLUは勾配の流れを容易にし、深層ネットワークのデフォルトの選択肢となっています。

構成としての深さ

層を追加することで変換が構成され、ネットワークはますます抽象的な特徴を構築し、多くの場合、単一の広い層よりも効率的に複雑な関数を表現します。

Clinical relevance

アーキテクチャの選択は、問題に関する事前知識を深層モデルに組み込む主要な方法であり、汎用データのための全結合型ネットワークから、画像やシーケンスのための特殊な構造まで多岐にわたります。人工ニューロンと普遍近似特性を理解することは、ニューラルネットワークの能力と限界の両方を明確にします。

History

人工ニューロンは、マカロックとピッツ、そしてローゼンブラットのパーセプトロンに端を発します。ミンキーとパパートによる単層ネットワークへの批判は、多層ネットワークとバックプロパゲーションが分野を復活させるまでその進展を遅らせ、深層学習時代は、ReLUやその他のコンポーネントから構築された数十または数百層のアーキテクチャをもたらしました。

Key figures

• Frank Rosenblatt
• Geoffrey Hinton
• Yann LeCun

Seminal works

• goodfellow2016
• bishop2006
• lecun2015

Frequently asked questions

活性化関数とは何ですか、またなぜ必要ですか？

活性化関数は、ニューロンの重み付き入力合計に非線形変換を適用します。これがないと、層を積み重ねても別の線形関数が生成されるだけであり、非線形性こそが深層ネットワークが複雑な非線形関係を表現することを可能にします。

1つの広い層で任意の関数を近似できるのであれば、なぜ深層化するのですか？

普遍近似定理は、浅いネットワークが原理的には任意の関数を近似できると述べていますが、非現実的なほど多くのニューロンが必要になる場合があります。深層ネットワークは、同じ関数をはるかにコンパクトに表現し、有用な階層的特徴を学習することが多いため、実際には深層化が好まれます。