Stohhastiline optimeerimine — SGD ja selle variandid
Stohhastiline optimeerimine on iteratiivsete meetodite perekond, mis minimeerib objektiivfunktsiooni, arvutades gradiendid juhuslikult valitud andmete alamhulkade — minipakkide — pealt, mitte kogu andmestiku pealt korraga. Robbins'i ja Monro' poolt 1951. aastal stohhastilise aproksimatsioonina algatatud lähenemisviisist sai SGD momendiga, AdaGrad, RMSProp ja Adam variantide kaudu suurte masinõppemudelite treenimise standardmootor.
Loe meetodi täielikku kirjeldust
Selle osa lugemiseks logi sisse tasuta kontoga.
Method map
The neighbourhood of related methods — select a node to explore.
Allikad
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407. DOI: 10.1214/aoms/1177729586 ↗
- Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015). link ↗
Kuidas sellele lehele viidata
ScholarGate. (2026, June 1). Stochastic Optimization (SGD and Variants). ScholarGate. https://scholargate.app/et/optimization/stochastic-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Bayesi optimeerimine – järjestikune mudelipõhine hüperparameetrite häälestamineOptimeerimine↔ compare
- Evolutionary Strategy (CMA-ES)Optimeerimine↔ compare
- Robustne optimeerimineOptimeerimine↔ compare
Sellele viitavad
Märkasid sellel lehel viga? Teata sellest või paku parandust →