SGD com Momentum / Otimizador Adam
O Gradiente Descendente Estocástico (SGD) com momentum e seu descendente adaptativo Adam são os algoritmos fundamentais de atualização de parâmetros usados para treinar praticamente todos os modelos modernos de deep learning. O SGD com momentum foi formalizado por Polyak (1964) e introduzido no treinamento de redes neurais por Rumelhart, Hinton e Williams (1986). Adam, introduzido por Kingma e Ba na ICLR 2015, estendeu a ideia do momentum mantendo também uma média móvel de gradientes ao quadrado, produzindo taxas de aprendizado adaptativas por parâmetro que o tornam o otimizador padrão na prática contemporânea de deep learning.
Leia o método completo
Entre com uma conta gratuita para ler esta seção.
Mapa de métodos
A vizinhança de métodos relacionados — selecione um nó para explorar.
Fontes
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Como citar esta página
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/pt/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Qual método?
Coloque este método ao lado dos seus pares mais próximos e leia-os lado a lado — a biblioteca dispõe os livros sobre a mesa; a escolha é sua.
- Normalização por LoteAprendizado profundo↔ comparar
Similar methods
Encontrou um problema nesta página? Relate ou sugira uma correção →