SGD с моментумом / Оптимизатор Adam

Стохастический градиентный спуск (SGD) с моментумом и его адаптивный потомок Adam являются фундаментальными алгоритмами обновления параметров, используемыми для обучения практически всех современных моделей глубокого обучения. SGD с моментумом был формализован Поляком (1964) и внедрен в обучение нейронных сетей Румельхартом, Хинтоном и Уильямсом (1986). Adam, представленный Кингмой и Ба на ICLR 2015, расширил идею моментума, поддерживая также скользящее среднее квадратов градиентов, что приводит к адаптивным скоростям обучения для каждого параметра, делая его оптимизатором по умолчанию в современной практике глубокого обучения.