SGD met Momentum / Adam Optimizer
Stochastische Gradiëntafdaling (SGD) met momentum en zijn adaptieve afstammeling Adam zijn de fundamentele algoritmen voor parameter-updates die worden gebruikt om vrijwel elk modern deep learning-model te trainen. Momentum SGD werd geformaliseerd door Polyak (1964) en geïntroduceerd in de training van neurale netwerken door Rumelhart, Hinton en Williams (1986). Adam, geïntroduceerd door Kingma en Ba op ICLR 2015, breidde het momentumidee uit door ook een lopend gemiddelde van kwadratische gradiënten bij te houden, wat resulteert in adaptieve leersnelheden per parameter die het de standaard optimizer maken in de hedendaagse deep learning-praktijk.
Lees de volledige methode
Log in met een gratis account om dit onderdeel te lezen.
Methodenkaart
De omgeving van verwante methoden — selecteer een knooppunt om te verkennen.
Bronnen
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Deze pagina citeren
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/nl/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Welke methode?
Plaats deze methode naast haar naaste verwanten en lees ze naast elkaar — de bibliotheek legt de boeken op tafel; de keuze is aan u.
- Batch NormalizationDeep learning↔ vergelijken
Similar methods
Een fout op deze pagina gezien? Meld het of stel een correctie voor →