Stochastic Optimization — SGD and Variants
Stohastička optimizacija je porodica iterativnih metoda koje minimiziraju ciljnu funkciju izračunavanjem gradijenata na slučajno uzorkovanim podskupovima podataka — mini-paketi — umesto na celom skupu podataka odjednom. Iniciran od strane Robinsa i Monroa 1951. godine kao stohastička aproksimacija, ovaj pristup je postao standardni motor za obuku velikih modela mašinskog učenja kroz varijante kao što su SGD sa momentom, AdaGrad, RMSProp i Adam.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Method map
The neighbourhood of related methods — select a node to explore.
Izvori
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407. DOI: 10.1214/aoms/1177729586 ↗
- Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015). link ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 1). Stochastic Optimization (SGD and Variants). ScholarGate. https://scholargate.app/sr/optimization/stochastic-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Bajezijanska optimizacijaOptimizacija↔ compare
- Evoluciona strategija (CMA-ES)Optimizacija↔ compare
- Robustna optimizacijaOptimizacija↔ compare
Citirana u
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →