SGD con Momentum / Optimizador Adam
El Descenso de Gradiente Estocástico (SGD) con momentum y su descendiente adaptativo Adam son los algoritmos fundamentales de actualización de parámetros utilizados para entrenar prácticamente todos los modelos modernos de aprendizaje profundo. El SGD con momentum fue formalizado por Polyak (1964) y llevado al entrenamiento de redes neuronales por Rumelhart, Hinton y Williams (1986). Adam, introducido por Kingma y Ba en ICLR 2015, extendió la idea del momentum manteniendo también una media móvil de los gradientes al cuadrado, produciendo tasas de aprendizaje adaptativas por parámetro que lo convierten en el optimizador por defecto en la práctica contemporánea del aprendizaje profundo.
Leer el método completo
Inicia sesión con una cuenta gratuita para leer esta sección.
Mapa de métodos
El vecindario de métodos relacionados: selecciona un nodo para explorarlo.
Fuentes
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Cómo citar esta página
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/es/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
¿Qué método?
Coloca este método junto a sus parientes más cercanos y léelos lado a lado: la biblioteca pone los libros sobre la mesa; la elección es tuya.
- Normalización por lotesAprendizaje profundo↔ comparar
Similar methods
¿Has visto un problema en esta página? Infórmanos o sugiere una corrección →