SGD con Momentum / Adam Optimizer
Stochastic Gradient Descent (SGD) con momentum e il suo discendente adattivo Adam sono gli algoritmi fondamentali di aggiornamento dei parametri utilizzati per addestrare praticamente ogni modello moderno di deep learning. Il Momentum SGD è stato formalizzato da Polyak (1964) e introdotto nell'addestramento delle reti neurali da Rumelhart, Hinton e Williams (1986). Adam, introdotto da Kingma e Ba all'ICLR 2015, ha esteso l'idea del momentum mantenendo anche una media mobile dei gradienti al quadrato, producendo tassi di apprendimento adattivi per parametro che lo rendono l'ottimizzatore predefinito nella pratica contemporanea del deep learning.
Leggi il metodo completo
Accedi con un account gratuito per leggere questa sezione.
Mappa dei metodi
Il vicinato dei metodi correlati — seleziona un nodo per esplorare.
Fonti
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Come citare questa pagina
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/it/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Quale metodo?
Affianca questo metodo ai suoi parenti più prossimi e leggili fianco a fianco — la biblioteca dispone i libri sul tavolo; la scelta è tua.
- Batch NormalizationApprendimento profondo↔ confronta
Similar methods
Hai notato un problema in questa pagina? Segnalalo o proponi una correzione →