Stochastická optimalizace — SGD a varianty

Stochastická optimalizace je rodina iterativních metod, které minimalizují účelovou funkci výpočtem gradientů na náhodně vzorkovaných podmnožinách dat — mini-dávkách — namísto na celé datové sadě najednou. Tento přístup, jehož průkopníky byli Robbins a Monro v roce 1951 jako stochastická aproximace, se stal standardním motorem pro trénování rozsáhlých modelů strojového učení prostřednictvím variant, jako je SGD s momentem, AdaGrad, RMSProp a Adam.