Optymalizacja stochastyczna — SGD i warianty
Optymalizacja stochastyczna to rodzina metod iteracyjnych, które minimalizują funkcję celu poprzez obliczanie gradientów na losowo próbkowanych podzbiorach danych — mini-paczkach — zamiast na całym zbiorze danych naraz. Zapoczątkowane przez Robbinsa i Monro w 1951 roku jako aproksymacja stochastyczna, podejście to stało się standardowym mechanizmem trenowania dużych modeli uczenia maszynowego poprzez warianty takie jak SGD z momentem, AdaGrad, RMSProp i Adam.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Method map
The neighbourhood of related methods — select a node to explore.
Źródła
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407. DOI: 10.1214/aoms/1177729586 ↗
- Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015). link ↗
Jak cytować tę stronę
ScholarGate. (2026, June 1). Stochastic Optimization (SGD and Variants). ScholarGate. https://scholargate.app/pl/optimization/stochastic-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Optymalizacja bayesowskaOptymalizacja↔ compare
- Strategia Ewolucyjna (CMA-ES)Optymalizacja↔ compare
- Optymalizacja solidnaOptymalizacja↔ compare
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →