Stochastische Optimierung — SGD und Varianten

Stochastische Optimierung ist eine Familie iterativer Methoden, die eine Zielfunktion minimieren, indem sie Gradienten auf zufällig ausgewählten Teilmengen von Daten — Mini-Batches — anstelle des gesamten Datensatzes auf einmal berechnen. Eingeführt von Robbins und Monro im Jahr 1951 als stochastische Approximation, wurde dieser Ansatz durch Varianten wie SGD mit Momentum, AdaGrad, RMSProp und Adam zum Standardverfahren für das Training von gross angelegten Modellen des maschinellen Lernens.