Стохастическая оптимизация — СГС и ее варианты

Стохастическая оптимизация — это семейство итеративных методов, которые минимизируют целевую функцию, вычисляя градиенты на случайно выбранных подмножествах данных — мини-пакетах — вместо всего набора данных сразу. Этот подход, впервые предложенный Роббинсом и Монро в 1951 году как стохастическая аппроксимация, стал стандартным механизмом для обучения крупномасштабных моделей машинного обучения благодаря таким вариантам, как СГС с моментом, AdaGrad, RMSProp и Adam.