SGD momentilla / Adam-optimoija
Momentilla varustettu stokastinen gradienttimenetelmä (SGD) ja sen adaptiivinen seuraaja Adam ovat perustavanlaatuisia parametrien päivitysalgoritmeja, joita käytetään käytännössä kaikkien nykyaikaisten syväoppimismallien kouluttamiseen. Momentti-SGD:n formalisoi Polyak (1964) ja toi neuroverkkojen koulutukseen Rumelhart, Hinton ja Williams (1986). Kingman ja Ba esittelivät Adam-algoritmin ICLR 2015 -konferenssissa, laajentaen momentti-ideaa ylläpitämällä myös gradienttien neliöiden liukuvaa keskiarvoa, mikä tuottaa parametrikohtaisia adaptiivisia oppimisnopeuksia, tehden siitä oletusoptimoijan nykyisessä syväoppimisessa.
Lue koko menetelmä
Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.
Menetelmäkartta
Lähimenetelmien naapurusto — valitse solmu tutkiaksesi.
Lähteet
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Näin viittaat tähän sivuun
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/fi/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Mikä menetelmä?
Aseta tämä menetelmä lähimpien sukulaistensa rinnalle ja lue niitä yhdessä — kirjasto asettaa teokset pöydälle; valinta on sinun.
- Batch NormalizationSyväoppiminen↔ vertaa
Similar methods
Huomasitko virheen tällä sivulla? Ilmoita siitä tai ehdota korjausta →