SGD med Momentum / Adam Optimizer
Stokastisk gradientnedstigning (SGD) med momentum och dess adaptiva efterföljare Adam är de grundläggande algoritmerna för parameteruppdatering som används för att träna praktiskt taget alla moderna djupinlärningsmodeller. Momentum SGD formaliserades av Polyak (1964) och infördes i träning av neurala nätverk av Rumelhart, Hinton och Williams (1986). Adam, introducerat av Kingma och Ba vid ICLR 2015, utökade momentumidén genom att även upprätthålla ett löpande medelvärde av kvadrerade gradienter, vilket ger adaptiva inlärningstakter per parameter som gör det till standardoptimeraren i samtida djupinlärningspraxis.
Läs hela metoden
Logga in med ett kostnadsfritt konto för att läsa avsnittet.
Metodkarta
Närområdet av besläktade metoder — välj en nod för att utforska.
Källor
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Så citerar du den här sidan
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/sv/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Vilken metod?
Placera den här metoden bredvid sina närmaste släktingar och läs dem sida vid sida — biblioteket lägger fram böckerna på bordet; valet är ditt.
- Batch-normaliseringDjupinlärning↔ jämför
Similar methods
Hittade du ett fel på sidan? Rapportera eller föreslå en rättelse →