Стохастична оптимизация — SGD и варианти

Стохастичната оптимизация е семейство итеративни методи, които минимизират целева функция чрез изчисляване на градиенти върху случайно избрани подмножества от данни — мини-партиди — вместо върху целия набор от данни наведнъж. Пионерски разработен от Робинс и Монро през 1951 г. като стохастична апроксимация, подходът се превърна в стандартен механизъм за обучение на мащабни модели за машинно обучение чрез варианти като SGD с импулс, AdaGrad, RMSProp и Adam.