Stochastische optimalisatie — SGD en varianten

Stochastische optimalisatie is een familie van iteratieve methoden die een objectieffunctie minimaliseren door gradiënten te berekenen op willekeurig bemonsterde subsets van gegevens — mini-batches — in plaats van op de gehele dataset tegelijk. Geïntroduceerd door Robbins en Monro in 1951 als stochastische approximatie, is de benadering de standaardmotor geworden voor het trainen van grootschalige machine-learningmodellen via varianten zoals SGD met momentum, AdaGrad, RMSProp en Adam.