Stokastisk optimering — SGD og varianter

Stokastisk optimering er en familie av iterative metoder som minimerer en objektivfunksjon ved å beregne gradienter på tilfeldig samplede delmengder av data — minibatch — i stedet for på hele datasettet samtidig. Metoden, som ble pionert av Robbins og Monro i 1951 som stokastisk approksimasjon, ble standarden for trening av storskala maskinlæringsmodeller gjennom varianter som SGD med momentum, AdaGrad, RMSProp og Adam.