Machine learning
Momentum付き確率的勾配降下法 / Adamオプティマイザ
Momentum付き確率的勾配降下法（SGD）とその適応的後継であるAdamは、現代のほぼ全ての深層学習モデルの訓練に使用される基本的なパラメータ更新アルゴリズムです。Polyak（1964）によって形式化されたMomentum SGDは、Rumelhart、Hinton、Williams（1986）によってニューラルネットワークの訓練に導入されました。KingmaとBaがICLR 2015で導入したAdamは、勾配の二乗の移動平均も維持することでMomentumのアイデアを拡張し、パラメータごとの適応的な学習率を生成するため、現代の深層学習の実践においてデフォルトのオプティマイザとなっています。
MethodMindで開く近日公開Apply, compare, get guidance
Tools & resources
Learn & explore
動画近日公開
手法の全文を読む
会員限定
ログイン無料アカウントでログインすると、このセクションを読めます。
手法マップ
関連する手法の近傍 — ノードを選択して探索できます。
出典
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
このページの引用方法
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/ja/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
どの手法を選ぶ？
この手法を最も近い類縁の手法と並べ、両者を見比べてください — ライブラリは本を机の上に並べるだけ。選ぶのはあなたです。
並べて比較する →