확률적 최적화

확률적 최적화는 목적 함수의 기울기 또는 값에 대한 잡음이 있는 추정치를 사용하여 목적 함수를 최소화하며, 전체적이고 정확한 목적 함수 대신 데이터의 무작위 부분 집합 또는 무작위 교란으로부터 매개변수를 업데이트합니다.

Definition

확률적 최적화는 목적 함수 또는 그 기울기에 대한 무작위적이고 편향되지 않은 추정치를 사용하여 매개변수 추정치를 업데이트하는 반복 방법들의 한 종류로, 전체 목적 함수를 평가하기에 너무 비용이 많이 들거나 잡음과 함께 관찰될 때 최적화를 가능하게 합니다.

Scope

이 주제는 로빈스-몬로(Robbins-Monro) 전통의 확률적 근사, 확률적 경사 하강법 및 그 미니 배치(mini-batch) 및 모멘텀(momentum) 변형, 수렴을 제어하는 스텝 사이즈(학습률) 스케줄, 잡음과 계산 비용 간의 절충, 그리고 수렴 보장을 다룹니다. 대규모 통계 및 기계 학습 모델을 적합시키는 데 있어서 그 역할이 강조됩니다.

Core questions

• 잡음이 있는 기울기 추정치가 어떻게 최적점으로의 수렴을 이끌 수 있는가?
• 로빈스-몬로 프레임워크에서 어떤 스텝 사이즈 스케줄이 수렴을 보장하는가?
• 미니 배치(mini-batching)는 단계당 계산 비용과 잡음 사이에서 어떻게 절충하는가?
• 매우 큰 데이터 세트에 확률적 최적화가 필수적인 이유는 무엇인가?

Key concepts

• 확률적 근사
• 미니 배치 기울기
• 학습률 스케줄
• 편향되지 않은 기울기 추정치
• 스텝 사이즈 감소
• 거의 확실한 수렴

Key theories

확률적 근사

로빈스-몬로 방식은 잡음이 있는 측정값으로부터 미지의 함수의 근을 찾기 위해 정해진 비율로 크기가 감소하는 작은 단계를 취하며, 스텝 사이즈 시퀀스에 대한 조건 하에서 거의 확실하게 수렴합니다.

확률적 경사 방법

전체 기울기를 무작위 데이터 부분 집합에서 얻은 편향되지 않은 추정치로 대체하면 저렴한 업데이트가 가능하며, 그 평균 궤적은 목적 함수를 따라 하강하고, 학습률 스케줄은 수렴 속도와 잡음의 분산 사이의 균형을 맞춥니다.

Clinical relevance

확률적 경사 방법은 한 번에 처리하기에는 너무 큰 데이터 세트에 모델을 적합시키는 것을 가능하게 하며, 신경망 훈련 및 대규모 회귀 분석에서 지배적인 최적화 전략입니다. 이러한 경우 매 단계마다 전체 기울기를 계산하는 것은 엄청난 비용이 들 수 있습니다.

History

로빈스와 몬로는 1951년에 잡음이 있는 관측치로부터 근을 찾기 위해 확률적 근사를 도입했으며, 키퍼와 울포위츠는 곧 이를 최적화에 적용했습니다. 대규모 기계 학습의 폭발적인 성장은 이러한 아이디어를 확률적 경사 하강법 및 그 많은 현대적 변형으로 부활시켰습니다.

Key figures

• Herbert Robbins
• Sutton Monro
• Harold Kushner
• Jack Kiefer

Seminal works

• robbins1951
• kushner2003

Frequently asked questions

정확한 기울기 대신 잡음이 있는 기울기를 사용하는 이유는 무엇입니까?

수백만 개의 데이터 포인트에 걸쳐 정확한 기울기를 계산하는 것은 비용이 많이 듭니다. 작은 무작위 배치에서 추정된 기울기는 훨씬 저렴하며, 잡음이 있더라도 평균적으로는 여전히 하향을 가리키므로, 많은 저렴한 잡음 있는 단계가 몇 번의 정확한 단계보다 더 효과적일 수 있습니다.

스텝 사이즈가 시간이 지남에 따라 일반적으로 줄어드는 이유는 무엇입니까?

스텝 사이즈를 줄이면 반복이 최적점에 접근함에 따라 기울기 잡음이 감소하며, 이는 로빈스-몬로 조건이 수렴을 위해 요구하는 바입니다. 너무 큰 스텝 사이즈를 유지하면 추정치가 해 주변에서 맴돌게 됩니다.