Gradiente Descendente Estocástico (SGD)

O Gradiente Descendente Estocástico (SGD) é um algoritmo de otimização iterativo de primeira ordem, enraizado no framework de aproximação estocástica introduzido por Robbins e Monro em 1951, que minimiza uma função objetivo atualizando os parâmetros do modelo usando o gradiente calculado em um único exemplo de treinamento selecionado aleatoriamente (ou um pequeno mini-lote) a cada passo. É o motor de otimização central por trás do aprendizado de máquina moderno e do aprendizado profundo, permitindo o treinamento de modelos em conjuntos de dados grandes demais para caber na memória.