SGD с Momentum / Adam Optimizer
Стохастичният градиентен спусък (SGD) с momentum и неговият адаптивен наследник Adam са основните алгоритми за актуализиране на параметри, използвани за обучение на почти всеки съвременен модел за дълбоко обучение. Momentum SGD е формализиран от Polyak (1964) и въведен в обучението на невронни мрежи от Rumelhart, Hinton и Williams (1986). Adam, представен от Kingma и Ba на ICLR 2015, разширява идеята за momentum, като поддържа и плъзгаща се средна стойност на квадратите на градиентите, създавайки адаптивни скорости на обучение за всеки параметър, което го прави стандартния оптимизатор в съвременната практика на дълбоко обучение.
Прочетете целия метод
Влезте с безплатен профил, за да прочетете този раздел.
Карта на методите
Обкръжението на сродните методи — изберете възел, за да го разгледате.
Източници
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Как да цитирате тази страница
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/bg/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Кой метод?
Поставете този метод до най-близките му сродни методи и ги четете едно до друго — библиотеката полага книгите на масата; изборът е ваш.
- Нормализация по мини-партиди (Batch Normalization)Дълбоко обучение↔ сравняване
Similar methods
Забелязахте ли проблем на тази страница? Съобщете или предложете поправка →