Process / pipeline
확률적 최적화 — SGD 및 변형
확률적 최적화는 전체 데이터셋을 한 번에 사용하는 대신 무작위로 샘플링된 데이터의 부분 집합(미니 배치)에서 기울기를 계산하여 목적 함수를 최소화하는 반복적 방법론입니다. 1951년 Robbins와 Monro가 확률적 근사(stochastic approximation)로 개척한 이 접근 방식은 모멘텀을 사용한 SGD, AdaGrad, RMSProp, Adam과 같은 변형을 통해 대규모 머신러닝 모델 훈련을 위한 표준 엔진이 되었습니다.
방법 전문 읽기
회원 전용
로그인무료 계정으로 로그인하면 이 섹션을 읽을 수 있습니다.
Method map
The neighbourhood of related methods — select a node to explore.
출처
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407. DOI: 10.1214/aoms/1177729586 ↗
- Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015). link ↗
이 페이지 인용 방법
ScholarGate. (2026, June 1). Stochastic Optimization (SGD and Variants). ScholarGate. https://scholargate.app/ko/optimization/stochastic-optimization
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
Compare side by side →