Process / pipeline
確率的最適化 — SGDとその派生手法
確率的最適化は、データセット全体を一度に計算するのではなく、ランダムにサンプリングされたデータのサブセット（ミニバッチ）上で勾配を計算することにより、目的関数を反復的に最小化する手法群である。1951年にRobbinsとMonroによって確率的近似として先駆的に開発されたこのアプローチは、SGD with momentum、AdaGrad、RMSProp、Adamなどの派生手法を通じて、大規模機械学習モデルのトレーニングにおける標準的なエンジンとなった。
手法の全文を読む
会員限定
ログイン無料アカウントでログインすると、このセクションを読めます。
Method map
The neighbourhood of related methods — select a node to explore.
出典
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407. DOI: 10.1214/aoms/1177729586 ↗
- Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015). link ↗
このページの引用方法
ScholarGate. (2026, June 1). Stochastic Optimization (SGD and Variants). ScholarGate. https://scholargate.app/ja/optimization/stochastic-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
Compare side by side →