SGD cu Momentum / Optimizator Adam
Descrierea algoritmilor de actualizare a parametrilor SGD cu Momentum și Adam, fundamentali pentru antrenarea modelelor moderne de deep learning. SGD cu Momentum a fost formalizat de Polyak (1964) și introdus în antrenarea rețelelor neuronale de Rumelhart, Hinton și Williams (1986). Adam, introdus de Kingma și Ba la ICLR 2015, extinde ideea de momentum prin menținerea unei medii mobile a gradienților pătrați, generând rate de învățare adaptive per-parametru, ceea ce îl face optimizatorul implicit în practica contemporană a deep learning-ului.
Citește metoda completă
Autentifică-te cu un cont gratuit pentru a citi această secțiune.
Harta metodelor
Vecinătatea metodelor înrudite — selectați un nod pentru a explora.
Surse
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Cum se citează această pagină
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/ro/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Ce metodă?
Așezați această metodă lângă cele mai apropiate rude și citiți-le alăturat — biblioteca pune cărțile pe masă; alegerea vă aparține.
- Normalizare pe loturiÎnvățare profundă↔ compară
Similar methods
Ai observat o problemă pe această pagină? Raportează sau sugerează o corectură →