Стохастична оптимізація — SGD та його варіанти
Стохастична оптимізація — це сімейство ітеративних методів, які мінімізують цільову функцію шляхом обчислення градієнтів на випадково вибраних підмножинах даних — міні-пакетах — замість усього набору даних одночасно. Започаткований Роббінсом і Монро у 1951 році як стохастична апроксимація, цей підхід став стандартним механізмом для навчання великомасштабних моделей машинного навчання через такі варіанти, як SGD з моментом, AdaGrad, RMSProp та Adam.
Читати метод повністю
Увійдіть із безкоштовним обліковим записом, щоб прочитати цей розділ.
Method map
The neighbourhood of related methods — select a node to explore.
Джерела
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407. DOI: 10.1214/aoms/1177729586 ↗
- Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015). link ↗
Як цитувати цю сторінку
ScholarGate. (2026, June 1). Stochastic Optimization (SGD and Variants). ScholarGate. https://scholargate.app/uk/optimization/stochastic-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Байєсівська оптимізаціяОптимізація↔ compare
- Еволюційна стратегія (CMA-ES)Оптимізація↔ compare
- Робастна оптимізаціяОптимізація↔ compare
Згадується в
Помітили помилку на цій сторінці? Повідомте про неї або запропонуйте виправлення →