バックプロパゲーションと最適化

バックプロパゲーションは、ネットワークの損失に対する重みの勾配を効率的に計算し、勾配ベースの最適化手法はその勾配を用いてネットワークを訓練します。

Definition

バックプロパゲーションは、連鎖律を用いて誤差信号を層を介して逆方向に伝播させることにより、ニューラルネットワーク内のすべての重みに対する損失関数の勾配を計算するアルゴリズムです。その後、最適化は、通常、確率的勾配降下法を用いて重みを更新し、損失を減少させます。

Scope

このトピックでは、深層ネットワークの訓練方法について扱います。具体的には、連鎖律を適用して層ごとに勾配を計算するバックプロパゲーションアルゴリズム、確率的勾配降下法とそのミニバッチ形式、モーメンタムと適応的学習率手法、そして勾配消失・勾配爆発、学習率の選択、非凸な損失曲面における収束といった実践的な課題が含まれます。

Core questions

• バックプロパゲーションはどのように勾配を効率的に計算するのでしょうか？
• なぜ大規模なデータセットには確率的勾配降下法が好まれるのでしょうか？
• モーメンタムと適応的手法はどのように訓練を加速させるのでしょうか？
• 勾配消失または勾配爆発の原因は何であり、どのように軽減されるのでしょうか？

Key theories

連鎖律によるバックプロパゲーション

出力から逆方向に連鎖律を適用することで、アルゴリズムは中間結果を再利用し、順伝播に比例する時間で全ての重み勾配を計算するため、大規模ネットワークの訓練が可能になります。

確率的勾配降下法

小さなランダムなバッチから勾配を推定することで、各更新が安価になり、有用なノイズが導入されます。これにより、非常に大規模なデータセットでの訓練が可能になり、しばしば汎化性能が向上します。

適応的手法とモーメンタム手法

モーメンタムは過去の勾配を蓄積して降下を滑らかにし、適応的手法はパラメータごとにステップサイズを調整します。これらはいずれも、深層ネットワークに典型的な悪条件の損失曲面における収束を加速させます。

Clinical relevance

確率的勾配降下法を用いたバックプロパゲーションは、現代の深層学習のほぼすべてを支える原動力です。勾配がどのように流れるかを理解することは、なぜ深層ネットワークの訓練が歴史的に困難であったのか、そして活性化関数、初期化、最適化手法における革新がどのようにして非常に深いネットワークを実用的なものにしたのかを説明します。

History

バックプロパゲーションは、Werbosの1974年の論文を含むいくつかの文脈で導出され、1986年にRumelhart、Hinton、Williamsによって広く知られるようになりました。確率的勾配降下法、そして後にモーメンタムや適応的学習率最適化手法が標準的な訓練手順となり、勾配消失問題への対処は、深層ネットワークやリカレントネットワークの訓練において重要な鍵となりました。

Key figures

• David Rumelhart
• Geoffrey Hinton
• Ronald Williams
• Paul Werbos

Seminal works

• rumelhart1986
• goodfellow2016
• bishop2006

Frequently asked questions

バックプロパゲーションは実際に何を計算するのですか？

それは、各重みが誤差を減らすためにどれだけ変化すべきか、つまり、すべての重みに対する損失の勾配を計算します。連鎖律を用いて出力層から入力層へと誤差信号を逆伝播させることで、これを効率的に行います。

なぜ一度にすべてのデータではなく、小さなバッチで訓練するのですか？

各更新にデータセット全体を使用することはコストがかかり、不必要です。ミニバッチ確率的勾配降下法は、小さなランダムサンプルから勾配を推定するため、各ステップが安価になり、より多くの更新が可能になり、また、劣悪な解から脱出するのに役立つノイズが加わります。