베이지안 최적화 — 순차적 모델 기반 하이퍼파라미터 튜닝

베이지안 최적화는 가능한 한 적은 평가 횟수로 비싼 블랙박스 함수의 최적값을 찾는 순차적이고 모델 기반인 전략입니다. Mockus (1975)의 연구에 뿌리를 두고 Snoek, Larochelle, Adams (2012)에 의해 주류 머신러닝 실무에 도입된 이 방법은 확률적 대리 모델(일반적으로 가우시안 프로세스)을 과거 관측값에 맞춰 학습시키고, 획득 함수를 사용하여 탐색과 유망한 영역의 활용 사이의 균형을 맞추며 다음 탐색 지점을 결정합니다.