Tahminsel Bilgi Kriterleri
Tahminsel bilgi kriterleri, bir modelin beklenen örnek dışı doğruluğunu posteriorundan tahmin etmekte ve modelleri karşılaştırmak için Bayes faktörlerine tahmin odaklı bir alternatif sunmaktadır.
Tanım
Tahminsel bilgi kriterleri, yeni veriler üzerindeki bir modelin beklenen logaritmik tahminsel yoğunluğunun tahminleri olup, posterior örneklerinden hesaplanmakta ve etkin parametre cezası ile aşırı uyum (overfitting) için düzeltilerek modelleri tahminsel performanslarına göre sıralamak için kullanılmaktadır.
Kapsam
Bu konu, sapma bilgi kriteri (DIC), yaygın olarak uygulanabilir bilgi kriteri (WAIC) ve verimli Pareto düzeltmeli önem örneklemesi ile tekli dışarıda bırakma çapraz doğrulama (Pareto-smoothed importance-sampling leave-one-out cross-validation) yöntemlerini, her birinin etkin parametre sayısını nasıl tahmin ettiğini ve beklenen logaritmik tahminsel yoğunluğu nasıl yaklaştırdığını içermektedir.
Temel sorular
- DIC, WAIC ve tekli dışarıda bırakma çapraz doğrulama tahminsel doğruluğu nasıl tahmin etmektedir?
- Etkin parametre sayısı nedir ve nasıl hesaplanmaktadır?
- WAIC neden DIC'den daha tam Bayesci olarak kabul edilmektedir?
- Pareto düzeltmeli önem örneklemesi, tekli dışarıda bırakma çapraz doğrulamayı nasıl verimli hale getirmektedir?
Anahtar kavramlar
- DIC
- WAIC
- tekli dışarıda bırakma çapraz doğrulama
- beklenen logaritmik tahminsel yoğunluk
- etkin parametre sayısı
- Pareto düzeltmeli önem örneklemesi
- aşırı uyum (overfitting) cezası
Temel kuramlar
- Etkin parametre sayısı
- Her bir kriter, posterior boyunca log-olabilirlik (log-likelihood) değişkenliğinden türetilen model karmaşıklığının bir tahminiyle uyumu cezalandırmaktadır, böylece daha iyi örnek içi uyum otomatik olarak üstün gelmemektedir.
- WAIC ve çapraz doğrulama eşdeğerliği
- Watanabe, WAIC'nin Bayesci tekli dışarıda bırakma çapraz doğrulamaya asimptotik olarak eşdeğer olduğunu göstermiştir ve her ikisi de tam posterioru kullanarak beklenen örnek dışı logaritmik tahminsel yoğunluğu doğrudan hedeflemektedir.
Klinik önem
Tahminsel kriterler, araştırmacıların epidemiyoloji, ekoloji ve fizik bilimlerinde tahmin için aday modelleri, Bayes faktörlerinin gerektirdiği dikkatlice ayarlanmış öncülleri (priors) belirtmeksizin karşılaştırmasına olanak tanımaktadır.
Tarihçe
Spiegelhalter ve arkadaşları 2002 yılında DIC'yi önermiştir. Watanabe, 2010 yılında tekil öğrenme kuramından (singular learning theory) WAIC'yi tanıtmıştır. Vehtari, Gelman ve Gabry'nin 2017'deki Pareto düzeltmeli önem örneklemesi ile tekli dışarıda bırakma çapraz doğrulama (Pareto-smoothed importance-sampling leave-one-out cross-validation) üzerine çalışmaları, kararlı, teşhis edilebilir tahminsel değerlendirmeyi pratik hale getirmiştir.
Tartışmalar
- DIC'nin Güvenilirliği
- DIC, hiyerarşik ve düzensiz modeller için kötü performans gösterebilmekte ve değişmezlikten yoksun olabilmektedir; bu durum birçok kişinin WAIC veya tekli dışarıda bırakma çapraz doğrulamayı tercih etmesine yol açmaktadır, ancak hiçbir kriter evrensel olarak en iyi kabul edilmemektedir.
Öne çıkan isimler
- David Spiegelhalter
- Sumio Watanabe
- Aki Vehtari
- Andrew Gelman
İlgili konular
Temel eserler
- watanabe2010
- vehtari2017
Sıkça sorulan sorular
- Daha düşük mü yoksa daha yüksek bir bilgi kriteri mi daha iyidir?
- Bu kriterler genellikle sapma ölçeğinde rapor edilmektedir; burada daha düşük değerler, daha iyi tahmin edilen örnek dışı tahminsel doğruluğu işaret etmektedir. Farklılıklar, kesin olarak kabul edilmek yerine standart hatalarına göre değerlendirilmelidir.