Otimização Estocástica — SGD e Variantes

A otimização estocástica é uma família de métodos iterativos que minimizam uma função objetivo computando gradientes em subconjuntos aleatoriamente amostrados de dados — mini-lotes — em vez de no conjunto de dados inteiro de uma vez. Pioneira por Robbins e Monro em 1951 como aproximação estocástica, a abordagem tornou-se o motor padrão para treinar modelos de aprendizado de máquina em larga escala através de variantes como SGD com momento, AdaGrad, RMSProp e Adam.