SGD with Momentum / Adam Optimizer
Stochastic Gradient Descent (SGD) with momentum และ Adam ซึ่งเป็นรุ่นสืบทอดแบบปรับอัตโนมัติ เป็นอัลกอริทึมพื้นฐานในการปรับพารามิเตอร์ที่ใช้ในการฝึกโมเดล deep learning สมัยใหม่เกือบทั้งหมด Momentum SGD ถูกทำให้เป็นทางการโดย Polyak (1964) และนำมาใช้ในการฝึกโครงข่ายประสาทเทียมโดย Rumelhart, Hinton, และ Williams (1986) Adam ซึ่ง Kingma และ Ba นำเสนอที่ ICLR 2015 ได้ขยายแนวคิด momentum โดยการรักษาค่าเฉลี่ยเคลื่อนที่ของ gradient ที่ยกกำลังสอง ทำให้เกิดอัตราการเรียนรู้แบบปรับอัตโนมัติสำหรับแต่ละพารามิเตอร์ ซึ่งทำให้เป็น optimizer เริ่มต้นในการฝึก deep learning ในปัจจุบัน
อ่านวิธีฉบับเต็ม
เข้าสู่ระบบด้วยบัญชีฟรีเพื่ออ่านส่วนนี้
แผนที่ระเบียบวิธี
ย่านของระเบียบวิธีที่เกี่ยวข้องกัน — เลือกโหนดเพื่อสำรวจ
แหล่งอ้างอิง
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
วิธีอ้างอิงหน้านี้
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/th/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
ระเบียบวิธีใด?
วางระเบียบวิธีนี้เคียงข้างระเบียบวิธีใกล้เคียงที่สุด แล้วอ่านเปรียบเทียบกัน — คลังวางหนังสือไว้บนโต๊ะให้แล้ว ส่วนการเลือกเป็นของท่าน
- Batch Normalizationการเรียนรู้เชิงลึก↔ เปรียบเทียบ