Stochastic Optimization
Stochastic optimization is a family of iterative methods that minimize an objective function by computing gradients on randomly sampled subsets of data — mini-batches — rather than on the entire dataset at once. Pioneered by Robbins and Monro in 1951 as stochastic approximation, the approach became the standard engine for training large-scale machine-learning models through variants such as SGD with momentum, AdaGrad, RMSProp, and Adam.
Изходен запис
Цитиранията са копирани дословно от изходния запис на метода. Те не предполагат проверка на ниво твърдение.
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407. · DOI 10.1214/aoms/1177729586
- Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015). · URL
Подбрани твърдения
Твърденията са запазени в регистъра на доказателствата, всяко със собствена оценка.
Този изглед не измисля оценка на твърдение, когато регистърът няма такава.
Свързани методи
Генерирани от графа на методите и показани като предложени от машината връзки — не се предполага твърдение за доказателство.