SGD med Momentum / Adam-optimalisator
Stokastisk gradientnedstigning (SGD) med momentum og dens adaptive etterkommer Adam er de grunnleggende algoritmer for parameter-oppdatering som brukes til å trene praktisk talt alle moderne dyp læringsmodeller. Momentum SGD ble formalisert av Polyak (1964) og brakt inn i trening av nevrale nettverk av Rumelhart, Hinton og Williams (1986). Adam, introdusert av Kingma og Ba ved ICLR 2015, utvidet momentum-ideen ved også å opprettholde et løpende gjennomsnitt av kvadrerte gradienter, noe som gir adaptive læringsrater per parameter som gjør det til standard optimalisator i moderne dyp læringspraksis.
Les hele metoden
Logg inn med en gratis konto for å lese denne delen.
Method map
The neighbourhood of related methods — select a node to explore.
Kilder
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Slik siterer du denne siden
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/no/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Batch NormalizationDyp læring↔ compare
Funnet en feil på denne siden? Rapporter eller foreslå en rettelse →