SGD z pędem / Optymalizator Adam
Stochastyczne zstępowanie gradientu (SGD) z pędem i jego adaptacyjny potomek Adam to fundamentalne algorytmy aktualizacji parametrów używane do trenowania praktycznie każdego nowoczesnego modelu głębokiego uczenia. SGD z pędem został sformalizowany przez Polyaka (1964) i wprowadzony do trenowania sieci neuronowych przez Rumelharta, Hintona i Williamsa (1986). Adam, wprowadzony przez Kingmę i Ba na konferencji ICLR 2015, rozszerzył ideę pędu, utrzymując również bieżącą średnią kwadratów gradientów, co skutkuje adaptacyjnymi szybkościami uczenia się dla każdego parametru, czyniąc go domyślnym optymalizatorem we współczesnej praktyce głębokiego uczenia.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Mapa metod
Sąsiedztwo pokrewnych metod — wybierz węzeł, aby je zgłębić.
Źródła
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Jak cytować tę stronę
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/pl/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Która metoda?
Zestaw tę metodę z najbliższymi jej krewnymi i czytaj je obok siebie — biblioteka kładzie księgi na stole; wybór należy do Ciebie.
- Normalizacja wsadowaUczenie głębokie↔ porównaj
Similar methods
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →