SGD mit Momentum / Adam-Optimierer
Stochastisches Gradientenverfahren (SGD) mit Momentum und sein adaptiver Nachfolger Adam sind die grundlegenden Algorithmen zur Parameteraktualisierung, die zum Trainieren praktisch jedes modernen Deep-Learning-Modells verwendet werden. Momentum-SGD wurde von Polyak (1964) formalisiert und von Rumelhart, Hinton und Williams (1986) in das Training von neuronalen Netzen integriert. Adam, eingeführt von Kingma und Ba auf der ICLR 2015, erweiterte die Momentum-Idee, indem es auch einen gleitenden Durchschnitt der quadrierten Gradienten beibehielt, was zu adaptiven Lernraten pro Parameter führt und es zum Standard-Optimierer in der heutigen Deep-Learning-Praxis macht.
Die vollständige Methode lesen
Melden Sie sich mit einem kostenlosen Konto an, um diesen Abschnitt zu lesen.
Methodenkarte
Die Nachbarschaft verwandter Methoden — wählen Sie einen Knoten, um sie zu erkunden.
Quellen
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
So zitieren Sie diese Seite
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/de/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Welche Methode?
Stellen Sie diese Methode neben ihre nächsten Verwandten und lesen Sie sie nebeneinander — die Bibliothek legt die Bücher auf den Tisch; die Wahl liegt bei Ihnen.
- Batch-NormalisierungDeep Learning↔ vergleichen
Similar methods
Einen Fehler auf dieser Seite entdeckt? Melden oder Korrektur vorschlagen →