אופטימיזציה סטוכסטית — SGD והטיותיו
אופטימיזציה סטוכסטית היא משפחה של שיטות איטרטיביות הממזערות פונקציית מטרה על ידי חישוב גרדיאנטים על תת-קבוצות נתונים שנבחרו באופן אקראי — מיני-באצ'ים — במקום על כלל מערך הנתונים בבת אחת. הגישה, שפותחה לראשונה על ידי רובינס ומונרו בשנת 1951 כקירוב סטוכסטי, הפכה למנוע הסטנדרטי לאימון מודלי למידת מכונה בקנה מידה גדול באמצעות הטיות כמו SGD עם מומנטום, AdaGrad, RMSProp ו-Adam.
קראו את השיטה במלואה
התחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
מקורות
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407. DOI: 10.1214/aoms/1177729586 ↗
- Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015). link ↗
איך לצטט עמוד זה
ScholarGate. (2026, June 1). Stochastic Optimization (SGD and Variants). ScholarGate. https://scholargate.app/he/optimization/stochastic-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- אופטימיזציה בייסיאניתאופטימיזציה↔ compare
- אסטרטגיית אבולוציה (CMA-ES)אופטימיזציה↔ compare
- אופטימיזציה רובוסטיתאופטימיזציה↔ compare