Descenso de Gradiente Estocástico (SGD)

El Descenso de Gradiente Estocástico (SGD) es un algoritmo de optimización iterativo de primer orden, arraigado en el marco de aproximación estocástica introducido por Robbins y Monro en 1951, que minimiza una función objetivo actualizando los parámetros del modelo utilizando el gradiente calculado sobre un único ejemplo de entrenamiento seleccionado aleatoriamente (o un pequeño mini-lote) en cada paso. Es el motor de optimización central detrás del aprendizaje automático moderno y el aprendizaje profundo, permitiendo el entrenamiento de modelos en conjuntos de datos demasiado grandes para caber en la memoria.