Model Confidence Set (MCS)

Diebold-Mariano testi, tam olarak iki model arasında ikili bir karşılaştırma yaparak reddetme/reddetmeme kararı verir. MCS, bunu birden çok modele eş zamanlı olarak, sıralı eleme ve aile bazında hata kontrolü kullanarak genelleştirir ve tek bir kazanan ilan etmek yerine ayırt edilemeyen üstün modeller kümesi döndürür.

Hansen ve ark. (2011), geleneksel α = 0.05'in kısa örneklerde genellikle aşırı kısıtlayıcı kümeler ürettiği için ampirik uygulamalarda α = 0.10 veya α = 0.25'i önermektedir. Seçim, araştırma bağlamını yansıtmalıdır: daha küçük bir α daha muhafazakardır ve daha büyük kümeler üretir, daha büyük bir α ise daha seçicidir ancak gerçekten rekabetçi modelleri dışlama riski taşır.

MCS, kayıp farklarının bir tutma dönemi üzerinden hesaplandığı örnek dışı tahmin değerlendirmesi için tasarlanmıştır. AIC veya BIC gibi örnek içi kriterlere uygulanması standart değildir ve önerilmez, çünkü bootstrap kritik değerlerinin altında yatan durağanlık ve bağımsızlık varsayımları, gerçek örnek dışı ortamlarda daha doğal bir şekilde karşılanır.