방법 증거 기록
SGD with Momentum / Adam Optimizer
Stochastic Gradient Descent (SGD) with momentum and its adaptive descendant Adam are the foundational parameter-update algorithms used to train virtually every modern deep learning model. Momentum SGD was formalised by Polyak (1964) and brought into neural network training by Rumelhart, Hinton, and Williams (1986). Adam, introduced by Kingma and Ba at ICLR 2015, extended the momentum idea by also maintaining a running average of squared gradients, producing per-parameter adaptive learning rates that make it the default optimizer in contemporary deep learning practice.
원본 기록
방법의 원본 기록에서 그대로 복사된 인용입니다. 이로부터 수준별 검증이 추론되지 않습니다.
Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam)
분류학적 방법 기록 · ml-model / deep-learning
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. · URL
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. · DOI 10.1038/323533a0
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. · DOI 10.1016/0041-5553(64)90137-5
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. · ISBN 978-0-262-03561-3
큐레이션된 주장
각각 자체 평가와 함께 증거 원장에 유지된 주장입니다.
아직 큐레이션된 주장이 없습니다
원장에 주장 평가가 없는 경우 이 보기에서는 주장 평가를 만들지 않습니다.
관련 방법
방법 그래프에서 생성되었으며 기계가 제안한 관계로 표시됩니다 — 증거 주장이 추론되지 않습니다.