Stokastisk optimering — SGD och varianter
Stokastisk optimering är en familj av iterativa metoder som minimerar en målfunktion genom att beräkna gradienter på slumpmässigt samplade delmängder av data — minibatchar — snarare än på hela datasetet på en gång. Metoden, som pionjärsades av Robbins och Monro 1951 som stokastisk approximation, blev standardmotorn för träning av storskaliga maskininlärningsmodeller genom varianter som SGD med momentum, AdaGrad, RMSProp och Adam.
Läs hela metoden
Logga in med ett kostnadsfritt konto för att läsa avsnittet.
Method map
The neighbourhood of related methods — select a node to explore.
Källor
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407. DOI: 10.1214/aoms/1177729586 ↗
- Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015). link ↗
Så citerar du den här sidan
ScholarGate. (2026, June 1). Stochastic Optimization (SGD and Variants). ScholarGate. https://scholargate.app/sv/optimization/stochastic-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Bayesiansk optimeringOptimering↔ compare
- Evolutionary Strategy (CMA-ES)Optimering↔ compare
- Robust optimeringOptimering↔ compare
Refereras av
Hittade du ett fel på sidan? Rapportera eller föreslå en rättelse →