予測情報量規準

予測情報量規準は、モデルの事後分布からサンプル外の予測精度を推定し、モデル比較のためのベイズ因子に代わる予測に焦点を当てた方法を提供します。

Definition

予測情報量規準は、新しいデータに対するモデルの期待対数予測密度の推定値であり、事後サンプルから計算され、有効パラメータによるペナルティによって過学習が補正され、予測性能によってモデルをランク付けするために使用されます。

Scope

このトピックでは、逸脱度情報量規準 (DIC)、広く適用可能な情報量規準 (WAIC)、および効率的なパレート平滑化重点サンプリングによる1つ抜き交差検証について扱います。これには、それぞれが有効パラメータ数をどのように推定し、期待対数予測密度をどのように近似するかが含まれます。

Core questions

• DIC、WAIC、および1つ抜き交差検証は、予測精度をどのように推定しますか？
• 有効パラメータ数とは何ですか、またそれはどのように計算されますか？
• WAICはDICよりも完全にベイズ的であると見なされるのはなぜですか？
• パレート平滑化重点サンプリングは、1つ抜き交差検証をどのように効率的にしますか？

Key concepts

• DIC
• WAIC
• 1つ抜き交差検証
• 期待対数予測密度
• 有効パラメータ数
• パレート平滑化重点サンプリング
• 過学習ペナルティ

Key theories

有効パラメータ数

各規準は、事後分布全体での対数尤度の変動から導出されるモデルの複雑さの推定値によって適合度をペナルティ化するため、サンプル内でのより良い適合が自動的に優位になるわけではありません。

WAICと交差検証の等価性

渡辺は、WAICがベイズ1つ抜き交差検証と漸近的に等価であり、両方とも完全な事後分布を使用してサンプル外の期待対数予測密度を直接目標とすることを示しました。

Clinical relevance

予測規準により、研究者は、疫学、生態学、および物理科学における予測のための候補モデルを比較できます。これは、ベイズ因子が要求する慎重に調整された事前分布を指定することなく可能です。

History

Spiegelhalterらは2002年にDICを提案しました。渡辺は2010年に特異学習理論からWAICを導入しました。Vehtari、Gelman、Gabryによる2017年のパレート平滑化重点サンプリングによる1つ抜き交差検証に関する研究は、安定した診断可能な予測評価を実用的なものにしました。

Debates

DICの信頼性

DICは階層モデルや非正則モデルに対してうまく機能しないことがあり、不変性も欠いているため、多くの研究者はWAICまたは1つ抜き交差検証を好みますが、単一の規準が普遍的に最良であるわけではありません。

Key figures

• David Spiegelhalter
• Sumio Watanabe
• Aki Vehtari
• Andrew Gelman

Seminal works

• watanabe2010
• vehtari2017

Frequently asked questions

情報量規準は低い方が良いですか、それとも高い方が良いですか？

これらの規準は通常、逸脱度スケールで報告され、値が低いほどサンプル外の予測精度が良好であると推定されます。差は、正確なものとして扱うのではなく、標準誤差に対して判断されるべきです。