Optimización Estocástica — SGD y Variantes

La optimización estocástica es una familia de métodos iterativos que minimizan una función objetivo calculando gradientes sobre subconjuntos de datos muestreados aleatoriamente — mini-lotes — en lugar de sobre todo el conjunto de datos a la vez. Pionero por Robbins y Monro en 1951 como aproximación estocástica, el enfoque se convirtió en el motor estándar para entrenar modelos de aprendizaje automático a gran escala a través de variantes como SGD con momento, AdaGrad, RMSProp y Adam.