Ottimizzazione stocastica — SGD e varianti

L'ottimizzazione stocastica è una famiglia di metodi iterativi che minimizzano una funzione obiettivo calcolando i gradienti su sottoinsiemi di dati campionati casualmente — mini-batch — piuttosto che sull'intero dataset in una volta sola. Introdotto da Robbins e Monro nel 1951 come approssimazione stocastica, l'approccio è diventato il motore standard per l'addestramento di modelli di machine learning su larga scala attraverso varianti come SGD con momentum, AdaGrad, RMSProp e Adam.