Stohastiskā optimizācija — SGD un varianti
Stohastiskā optimizācija ir iteratīvu metožu saime, kas minimizē mērķa funkciju, aprēķinot gradientus uz nejauši izlasītiem datu apakškopām — mini-bačiem — nevis uz visu datu kopu vienlaicīgi. Šo pieeju, ko 1951. gadā aizsāka Robinss un Monro kā stohastisko aproksimāciju, izmanto kā standarta dzinējspēku liela mēroga mašīnmācīšanās modeļu apmācībai, izmantojot variantus, piemēram, SGD ar momentu, AdaGrad, RMSProp un Adam.
Lasīt pilno metodes aprakstu
Piesakieties ar bezmaksas kontu, lai lasītu šo sadaļu.
Method map
The neighbourhood of related methods — select a node to explore.
Avoti
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407. DOI: 10.1214/aoms/1177729586 ↗
- Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015). link ↗
Kā citēt šo lapu
ScholarGate. (2026, June 1). Stochastic Optimization (SGD and Variants). ScholarGate. https://scholargate.app/lv/optimization/stochastic-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Optimizācija ar Bajesas metodiOptimizācija↔ compare
- Evolucionārā stratēģija (CMA-ES)Optimizācija↔ compare
- Robustā optimizācijaOptimizācija↔ compare
Uz to atsaucas
Pamanījāt kļūdu šajā lapā? Ziņojiet vai ierosiniet labojumu →