Descente de gradient stochastique (SGD)

La descente de gradient stochastique (SGD) est un algorithme d'optimisation itératif du premier ordre, ancré dans le cadre de l'approximation stochastique introduit par Robbins et Monro en 1951, qui minimise une fonction objectif en mettant à jour les paramètres du modèle à l'aide du gradient calculé sur un seul exemple d'entraînement sélectionné aléatoirement (ou un petit mini-lot) à chaque étape. C'est le moteur d'optimisation principal derrière l'apprentissage automatique et l'apprentissage profond modernes, permettant l'entraînement de modèles sur des ensembles de données trop volumineux pour tenir en mémoire.