SGD amb Momentum / Optimitador Adam
El descens de gradient estocàstic (SGD) amb momentum i el seu descendent adaptatiu Adam són els algorismes fonamentals d'actualització de paràmetres utilitzats per entrenar pràcticament tots els models moderns d'aprenentatge profund. El SGD amb momentum va ser formalitzat per Polyak (1964) i introduït en l'entrenament de xarxes neuronals per Rumelhart, Hinton i Williams (1986). Adam, introduït per Kingma i Ba a ICLR 2015, va estendre la idea del momentum mantenint també una mitjana mòbil dels gradients al quadrat, produint taxes d'aprenentatge adaptatives per paràmetre que el converteixen en l'optimizador per defecte en la pràctica contemporània de l'aprenentatge profund.
Llegeix el mètode complet
Inicia la sessió amb un compte gratuït per llegir aquesta secció.
Mapa de mètodes
El veïnat de mètodes relacionats — seleccioneu un node per explorar-lo.
Fonts
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Com citar aquesta pàgina
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/ca/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Quin mètode?
Poseu aquest mètode al costat dels seus parents més pròxims i llegiu-los de costat a costat — la biblioteca disposa els llibres sobre la taula; la tria és vostra.
- Normalització per lotsAprenentatge profund↔ compara
Similar methods
Has vist cap problema en aquesta pàgina? Informa'n o suggereix una correcció →