Stochastic Optimization — SGD and Variants
การปรับให้เหมาะสมเชิงสุ่ม (Stochastic optimization) เป็นกลุ่มของระเบียบวิธีวนซ้ำที่ลดฟังก์ชันวัตถุประสงค์โดยการคำนวณเกรเดียนต์จากชุดย่อยของข้อมูลที่สุ่มตัวอย่างมา (มินิแบทช์) แทนที่จะใช้ชุดข้อมูลทั้งหมดในคราวเดียว แนวทางนี้บุกเบิกโดย Robbins และ Monro ในปี 1951 ในชื่อการประมาณเชิงสุ่ม (stochastic approximation) และได้กลายเป็นกลไกมาตรฐานสำหรับการฝึกแบบจำลองการเรียนรู้ของเครื่องขนาดใหญ่ผ่านรูปแบบต่างๆ เช่น SGD with momentum, AdaGrad, RMSProp และ Adam
อ่านวิธีฉบับเต็ม
เข้าสู่ระบบด้วยบัญชีฟรีเพื่ออ่านส่วนนี้
Method map
The neighbourhood of related methods — select a node to explore.
แหล่งอ้างอิง
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407. DOI: 10.1214/aoms/1177729586 ↗
- Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015). link ↗
วิธีอ้างอิงหน้านี้
ScholarGate. (2026, June 1). Stochastic Optimization (SGD and Variants). ScholarGate. https://scholargate.app/th/optimization/stochastic-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Bayesian Optimizationการหาค่าเหมาะที่สุด↔ compare
- Evolutionary Strategy (CMA-ES)การหาค่าเหมาะที่สุด↔ compare
- Robust Optimizationการหาค่าเหมาะที่สุด↔ compare