예측 정보 기준

예측 정보 기준은 모델의 사후 분포로부터 예상되는 표본 외 정확도를 추정하여, 모델 비교를 위한 베이즈 요인(Bayes factors)에 대한 예측 중심의 대안을 제공합니다.

Definition

예측 정보 기준은 새로운 데이터에 대한 모델의 예상 로그 예측 밀도 추정치로, 사후 샘플(posterior samples)로부터 계산되며 유효 매개변수 페널티(effective-parameter penalty)를 통해 과적합(overfitting)을 보정하여 예측 성능에 따라 모델 순위를 매기는 데 사용됩니다.

Scope

이 주제는 편차 정보 기준(DIC), 광범위하게 적용 가능한 정보 기준(WAIC), 그리고 효율적인 파레토 평활화 중요도 샘플링-하나 빼기 교차 검증(efficient Pareto-smoothed importance-sampling leave-one-out cross-validation)을 다루며, 각 기준이 유효 매개변수(effective number of parameters)의 수를 어떻게 추정하고 예상 로그 예측 밀도(expected log predictive density)를 어떻게 근사하는지를 포함합니다.

Core questions

• DIC, WAIC, 그리고 하나 빼기 교차 검증은 예측 정확도를 어떻게 추정합니까?
• 유효 매개변수의 수는 무엇이며 어떻게 계산됩니까?
• WAIC가 DIC보다 더 완전한 베이즈적(fully Bayesian)이라고 간주되는 이유는 무엇입니까?
• 파레토 평활화 중요도 샘플링은 하나 빼기 교차 검증을 어떻게 효율적으로 만듭니까?

Key concepts

• DIC
• WAIC
• 하나 빼기 교차 검증
• 예상 로그 예측 밀도
• 유효 매개변수의 수
• 파레토 평활화 중요도 샘플링
• 과적합 페널티

Key theories

유효 매개변수의 수

각 기준은 사후 분포(posterior) 전반에 걸친 로그 우도(log-likelihood)의 변동성에서 파생된 모델 복잡성 추정치를 통해 적합도에 페널티를 부과하므로, 더 나은 표본 내 적합도가 자동으로 우수하다고 판단되지 않습니다.

WAIC와 교차 검증 등가성

Watanabe는 WAIC가 베이즈적 하나 빼기 교차 검증(Bayesian leave-one-out cross-validation)과 점근적으로 동등하며, 둘 다 전체 사후 분포를 사용하여 예상되는 표본 외 로그 예측 밀도를 직접 목표로 한다는 것을 보여주었습니다.

Clinical relevance

예측 기준을 통해 연구자들은 역학, 생태학 및 물리 과학 분야에서 예측을 위한 후보 모델들을 비교할 수 있으며, 베이즈 요인이 요구하는 신중하게 조정된 사전 분포(priors)를 지정할 필요가 없습니다.

History

Spiegelhalter와 동료들은 2002년에 DIC를 제안했습니다. Watanabe는 2010년에 특이 학습 이론(singular learning theory)으로부터 WAIC를 도입했습니다. Vehtari, Gelman, Gabry의 2017년 파레토 평활화 중요도 샘플링-하나 빼기 교차 검증에 대한 연구는 안정적이고 진단 가능한 예측 평가를 실용화했습니다.

Debates

DIC의 신뢰성

DIC는 계층적 모델(hierarchical models) 및 비정규 모델(non-regular models)에서 제대로 작동하지 않을 수 있으며 불변성(invariance)이 부족하여 많은 사람들이 WAIC 또는 하나 빼기 교차 검증을 선호하지만, 단일 기준이 보편적으로 가장 좋은 것은 아닙니다.

Key figures

• David Spiegelhalter
• Sumio Watanabe
• Aki Vehtari
• Andrew Gelman

Seminal works

• watanabe2010
• vehtari2017

Frequently asked questions

정보 기준은 낮을수록 좋습니까, 높을수록 좋습니까?

이러한 기준은 일반적으로 편차 척도(deviance scale)로 보고되며, 낮은 값은 더 나은 추정된 표본 외 예측 정확도를 나타냅니다. 차이는 정확한 값으로 취급하기보다는 표준 오차(standard errors)에 상대적으로 판단해야 합니다.