ירידה סטוכסטית של גרדיאנט (SGD)
ירידה סטוכסטית של גרדיאנט (SGD) היא אלגוריתם אופטימיזציה איטרטיבי מסדר ראשון, המושרש במסגרת הקירוב הסטוכסטי שהוצגה על ידי רובינס ומונרו בשנת 1951, אשר ממזערת פונקציית מטרה על ידי עדכון פרמטרים של מודל באמצעות הגרדיאנט המחושב על דוגמת אימון בודדת שנבחרה באופן אקראי (או מיני-באטץ' קטן) בכל צעד. זהו מנוע האופטימיזציה הליבה מאחורי למידת מכונה מודרנית ולמידה עמוקה, המאפשר אימון של מודלים על מערכי נתונים גדולים מכדי להיכנס לזיכרון.
קראו את השיטה במלואה
התחברו עם חשבון חינמי כדי לקרוא חלק זה.
Method map
The neighbourhood of related methods — select a node to explore.
מקורות
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics, 22(3), 400–407. DOI: 10.1214/aoms/1177729586 ↗
- Goodfellow, I., Bengio, Y. & Courville, A. (2016). Deep Learning (Ch. 8). MIT Press. ISBN: 978-0-262-03561-3
איך לצטט עמוד זה
ScholarGate. (2026, June 3). Stochastic Gradient Descent (SGD) Optimization Algorithm. ScholarGate. https://scholargate.app/he/machine-learning/stochastic-gradient-descent
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
Compare side by side →