交差検定とリサンプリング

交差検定とリサンプリングは、利用可能なデータを繰り返し分割またはリサンプリングすることにより、モデルの汎化誤差を推定し、限られたデータセットを効率的に利用します。

Definition

交差検定は、データをフォールドに分割し、一部のフォールドで訓練し、残りのフォールドでテストし、その結果を平均化することによって汎化誤差を推定します。より広義のリサンプリングは、ブートストラップを含め、学習手順の性能と変動性を推定するために、データのサブセットを繰り返し抽出します。

Scope

このトピックでは、モデル評価のためのデータ再利用手法について扱います。具体的には、訓練-テスト分割、k分割交差検定、leave-one-out交差検定、チューニングのための層化交差検定とネストされた交差検定、および不確実性推定のためのブートストラップです。これらの推定量のバイアスとバリアンス、およびそれらを無効にする可能性のあるデータ漏洩などの落とし穴についても言及します。

Core questions

• k分割交差検定はどのように汎化誤差を推定するのでしょうか？
• 異なるフォールド数におけるバイアス-バリアンスのトレードオフは何でしょうか？
• ネストされた交差検定はどのようにチューニングと評価を分離するのでしょうか？
• ブートストラップはどのように推定量の変動性を推定するのでしょうか？

Key theories

k分割交差検定

データをk個のフォールドに分割し、どのフォールドをホールドアウトするかを回転させることで、訓練とテストの両方にすべてのデータを使用する汎化誤差の推定値が得られ、計算量と引き換えにより信頼性の高い推定値が得られます。

ネストされた交差検定

ハイパーパラメータがチューニングされる際、内側の交差検定ループがそれらを選択し、外側のループが性能を評価することで、同じデータでチューニングと評価を行うことから生じる楽観的なバイアスを防ぎます。

ブートストラップ

データを復元抽出で何度もリサンプリングすることで、統計量やモデル性能の標本分布を推定し、分布の仮定なしに信頼区間と誤差推定値を提供します。

Clinical relevance

交差検定は、データが限られている場合にモデルの性能を推定し、モデルを選択するための標準的なツールであり、ブートストラップは不確実性を定量化するために広く使用されています。例えば、テスト情報を訓練に漏洩させたり、評価データでチューニングしたりするなど、これらを誤って適用することは、結果を過大評価する頻繁かつ深刻な原因となります。

History

交差検定は、1970年代にStoneとGeisserによって予測誤差を推定するための正式な方法として開発されました。Efronは1979年にブートストラップを導入し、これらのリサンプリング手法は統計学と機械学習における評価と不確実性推定に不可欠なものとなりました。

Key figures

• Mervyn Stone
• Bradley Efron
• Robert Tibshirani

Seminal works

• hastie2009
• efron1993
• murphy2012

Frequently asked questions

k分割交差検定は何をするものですか？

データをk個の等しい部分に分割し、モデルをk回訓練します。その際、毎回異なる部分をテスト用に保持し、残りを訓練に使用します。k個のテスト結果を平均することで、モデルが未知のデータに対してどのように機能するかを推定します。

ネストされた交差検定が時に必要とされるのはなぜですか？

ハイパーパラメータをチューニングし、同じ交差検定で性能を測定すると、選択がそのデータに適合しているため、推定値は楽観的になります。ネストされた交差検定は、チューニングのために内側のループを使用し、評価のために外側のループを使用することで、両者を分離します。