Стохастический градиентный спуск (SGD)

Стохастический градиентный спуск (SGD) — это итерационный алгоритм оптимизации первого порядка, основанный на каркасе стохастической аппроксимации, введенном Роббинсом и Монро в 1951 году, который минимизирует целевую функцию путем обновления параметров модели с использованием градиента, вычисленного на одном случайно выбранном обучающем примере (или небольшом мини-батче) на каждом шаге. Это основной оптимизационный механизм современных машинного обучения и глубокого обучения, позволяющий обучать модели на наборах данных, слишком больших для размещения в памяти.