Stokastisk optimering — SGD og varianter
Stokastisk optimering er en familie af iterative metoder, der minimerer en objektivfunktion ved at beregne gradienter på tilfældigt samplede delmængder af data — mini-batches — i stedet for på hele datasættet på én gang. Tilgangen, der blev pioneret af Robbins og Monro i 1951 som stokastisk approksimation, blev standardmotoren til træning af storskala maskinlæringsmodeller gennem varianter som SGD med momentum, AdaGrad, RMSProp og Adam.
Læs hele metoden
Log ind med en gratis konto for at læse dette afsnit.
Method map
The neighbourhood of related methods — select a node to explore.
Kilder
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407. DOI: 10.1214/aoms/1177729586 ↗
- Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015). link ↗
Sådan citerer du denne side
ScholarGate. (2026, June 1). Stochastic Optimization (SGD and Variants). ScholarGate. https://scholargate.app/da/optimization/stochastic-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Bayesiansk optimeringOptimering↔ compare
- Evolutionary Strategy (CMA-ES)Optimering↔ compare
- Robust optimeringOptimering↔ compare
Refereret af
Har du fundet en fejl på denne side? Indberet den eller foreslå en rettelse →