Çapraz Doğrulama
Çapraz doğrulama, bir modelin yeni verileri ne kadar iyi tahmin edeceğini, örneğin bir kısmına tekrar tekrar uyarlayarak ve ayrılan kalan kısım üzerindeki hatasını ölçerek tahmin etmektedir.
Tanım
Çapraz doğrulama, verileri tamamlayıcı alt kümelere bölerek, bazı alt kümelere uyarlayarak ve diğerleri üzerindeki tahmin hatasını değerlendirerek, ardından bölümler üzerinde ortalama alarak bir modelin örnek dışı tahmin hatasını tahmin eden bir yeniden örnekleme prosedürüdür.
Kapsam
Bu konu, bırak-bir-dışarı (leave-one-out) ve k-katlı çapraz doğrulama, doğrulama kümesi (validation-set) ve tekrarlanan çapraz doğrulama şemaları, bunların model seçimi ve ayarlama parametresi (tuning-parameter) seçimi için kullanımları, hata tahminindeki yanlılık-varyans dengesi (bias-variance trade-off) ve bilgi sızıntısı (information leakage) ile örnek içi hata (in-sample error) iyimserliği gibi tuzakları kapsamaktadır. Yeniden örneklemeye dayalı değerlendirmedeki rolü vurgulanmaktadır.
Temel sorular
- Verileri ayırıp tahmin etmek, genelleme hatasını nasıl tahmin eder?
- Hangi dengeler, bırak-bir-dışarı (leave-one-out) çapraz doğrulamayı k-katlı çapraz doğrulamadan ayırır?
- Çapraz doğrulama, modelleri seçmek ve hiperparametreleri ayarlamak için nasıl kullanılır?
- Bilgi sızıntısını (information leakage) önlemek gibi hangi uygulamalar geçerli tahminler için gereklidir?
Anahtar kavramlar
- k-katlı bölümlendirme
- Bırak-bir-dışarı (leave-one-out) çapraz doğrulama
- Doğrulama kümesi (validation set)
- Genelleme hatası
- Model seçimi
- Bilgi sızıntısı (information leakage)
Temel kuramlar
- Çapraz doğrulama değerlendirmesi
- Verilerin bir kısmına uyarlama ve ayrık bir kısım üzerinde değerlendirme, katlar üzerinde ortalama alındığında, modelin bağımsız gelecekteki veriler üzerindeki hatasını yaklaşık olarak gösteren bir tahmin hatası tahmini vermektedir.
- Hata tahminindeki yanlılık-varyans (bias-variance)
- Bırak-bir-dışarı (leave-one-out) çapraz doğrulama neredeyse yanlılık içermez ancak yüksek varyansa sahip olabilirken, ılımlı k değerine sahip k-katlı çapraz doğrulama ise daha düşük varyans karşılığında küçük bir yukarı yönlü yanlılık (upward bias) takası yapar, bu da beş veya on katın yaygın olarak seçilmesine yol açmaktadır.
Klinik önem
Çapraz doğrulama, modeller arasında seçim yapmak, düzenlileştirme (regularization) ve diğer hiperparametreleri ayarlamak ve dürüst tahmin performansı raporlamak için standart bir araçtır; veri odaklı bilimlerde istatistiksel öğrenme ve makine öğrenimi uygulamalarının merkezinde yer almaktadır.
Tarihçe
Çapraz doğrulama fikirleri, 1974 yılında Stone ve Geisser tarafından tahmin modellerini değerlendirmek ve seçmek için prensipli bir yol olarak resmileştirilmiştir; istatistiksel ve makine öğrenimindeki patlayıcı büyüme, k-katlı çapraz doğrulamayı model değerlendirmesi için rutin bir varsayılan haline getirmiştir.
Tartışmalar
- Çapraz doğrulama tahmininin yanlılığı ve varyansı
- Katlar çakıştığı ve ortaya çıkan hata tahminleri korelasyonlu olduğu için, kaç kat kullanılacağı ve çapraz doğrulanmış hata için geçerli belirsizlik tahminlerinin nasıl elde edileceği konusunda devam eden bir tartışma bulunmaktadır.
Öne çıkan isimler
- Mervyn Stone
- Seymour Geisser
- Trevor Hastie
- Robert Tibshirani
İlgili konular
Temel eserler
- stone1974
- hastie2009
Sıkça sorulan sorular
- Modeli uyarlamak için kullanılan veriler üzerindeki hatayı neden ölçmeyelim?
- Örnek içi hata (in-sample error) iyimserdir çünkü model tam da o verilere göre ayarlanmıştır, bu nedenle yeni veriler üzerindeki hatayı olduğundan az gösterir. Çapraz doğrulama, modelin uyarlama sırasında görmediği veriler üzerindeki tahminleri değerlendirerek daha dürüst bir tahmin sağlamaktadır.
- Kaç kat kullanmalıyım?
- Beş veya on kat, yanlılık ve varyansı dengeleyen ve hesaplamayı yönetilebilir tutan yaygın seçeneklerdir. Bırak-bir-dışarı (leave-one-out) yöntemi, gözlem sayısı kadar kat kullanır, bu da düşük yanlılık ancak daha yüksek varyans ve daha fazla maliyetle sonuçlanmaktadır.