SGD with Momentum / Adam Optimizer
Стохастичний градієнтний спуск (SGD) з моментом та його адаптивний нащадок Adam є фундаментальними алгоритмами оновлення параметрів, що використовуються для навчання практично кожної сучасної моделі глибокого навчання. SGD з моментом був формалізований Поляком (1964) і впроваджений у навчання нейронних мереж Румельхарт, Хінтоном та Вільямсом (1986). Adam, представлений Кінгмою та Ба на ICLR 2015, розширив ідею моменту, підтримуючи також ковзне середнє квадратів градієнтів, що створює адаптивні темпи навчання для кожного параметра, роблячи його стандартним оптимізатором у сучасній практиці глибокого навчання.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Карта методів
Околиця споріднених методів — виберіть вузол, щоб дослідити.
Джерела
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Як цитувати цю сторінку
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/uk/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Який метод?
Поставте цей метод поруч із його найближчими спорідненими й читайте їх пліч-о-пліч — бібліотека викладає книги на стіл; вибір за вами.
- Нормалізація батчаГлибоке навчання↔ порівняти
Similar methods
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →