Optimisation stochastique — SGD et variantes

L'optimisation stochastique est une famille de méthodes itératives qui minimisent une fonction objectif en calculant les gradients sur des sous-ensembles de données échantillonnés aléatoirement — des mini-lots — plutôt que sur l'ensemble du jeu de données en une seule fois. Inaugurée par Robbins et Monro en 1951 sous le nom d'approximation stochastique, cette approche est devenue le moteur standard pour l'entraînement de modèles d'apprentissage automatique à grande échelle grâce à des variantes telles que SGD avec momentum, AdaGrad, RMSProp et Adam.