SGD with Momentum / Adam Optimizer
Stochastic Gradient Descent (SGD) with momentum and its adaptive descendant Adam are the foundational parameter-update algorithms used to train virtually every modern deep learning model. Momentum SGD was formalised by Polyak (1964) and brought into neural network training by Rumelhart, Hinton, and Williams (1986). Adam, introduced by Kingma and Ba at ICLR 2015, extended the momentum idea by also maintaining a running average of squared gradients, producing per-parameter adaptive learning rates that make it the default optimizer in contemporary deep learning practice.
سوابق منبع
استنادات عیناً از سوابق منبع روش کپی شدهاند. هیچ تأیید در سطح ادعا از آنها استنباط نمیشود.
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. · URL
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. · DOI 10.1038/323533a0
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. · DOI 10.1016/0041-5553(64)90137-5
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. · ISBN 978-0-262-03561-3
ادعاهای گزینششده
ادعاها در دفتر ثبت شواهد ذخیره شدهاند، هر کدام با ارزیابی خاص خود.
این نما در صورت عدم وجود ارزیابی ادعا در دفتر ثبت، ادعایی ابداع نمیکند.
روشهای مرتبط
از گراف روش تولید شده و به عنوان روابط پیشنهادی ماشین نمایش داده میشود — هیچ ادعای مدرکی استنباط نمیشود.