Çapraz Doğrulama ve Yeniden Örnekleme
Çapraz doğrulama ve yeniden örnekleme yöntemleri, mevcut veriyi tekrar tekrar bölerek veya yeniden örnekleyerek bir modelin genelleme hatasını tahmin etmektedir; bu sayede sınırlı veri kümelerinden etkin bir şekilde faydalanılmaktadır.
Tanım
Çapraz doğrulama, veriyi katmanlara (folds) ayırarak, bazı katmanlar üzerinde eğitim yaparak ve ayrılan katman üzerinde test yaparak, rotasyonlar üzerinden ortalama alarak genelleme hatasını tahmin etmektedir; daha geniş anlamda yeniden örnekleme, bootstrap dahil olmak üzere, bir öğrenme prosedürünün performansını ve değişkenliğini tahmin etmek için verinin alt kümelerini tekrar tekrar çekmektedir.
Kapsam
Bu konu, modelleri değerlendirmek için veri yeniden kullanım yöntemlerini kapsamaktadır: eğitim-test ayrımı, k-katlı ve birini dışarıda bırakma (leave-one-out) çapraz doğrulama, ayarlama (tuning) için katmanlı (stratified) ve iç içe (nested) çapraz doğrulama ve belirsizliği tahmin etmek için bootstrap yöntemi. Bu tahmin edicilerin yanlılık (bias) ve varyansını (variance) ve veri sızıntısı (data leakage) gibi geçersiz kılabilecek tuzakları ele almaktadır.
Temel sorular
- k-katlı çapraz doğrulama genelleme hatasını nasıl tahmin etmektedir?
- Farklı katman sayılarının yanlılık-varyans dengeleri nelerdir?
- İç içe çapraz doğrulama, ayarlama ve değerlendirmeyi nasıl ayrı tutmaktadır?
- Bootstrap, bir tahminin değişkenliğini nasıl tahmin etmektedir?
Temel kuramlar
- k-fold cross-validation
- Veriyi k katmana bölmek ve hangi katmanın dışarıda bırakılacağını döndürmek, hem eğitim hem de test için tüm veriyi kullanan bir genelleme hatası tahmini sağlamaktadır; bu, daha güvenilir bir tahmin için hesaplama maliyetini göze almayı gerektirmektedir.
- Nested cross-validation
- Hiperparametreler ayarlandığında, bir iç çapraz doğrulama döngüsü bunları seçer ve bir dış döngü performansı değerlendirir; bu, aynı veri üzerinde ayarlama ve değerlendirmeden kaynaklanan iyimser yanlılığı önlemektedir.
- The bootstrap
- Veriyi yerine koyarak birçok kez yeniden örneklemek, bir istatistiğin veya model performansının örnekleme dağılımını tahmin ederek, dağılımsal varsayımlar olmaksızın güven aralıkları ve hata tahminleri sağlamaktadır.
Klinik önem
Çapraz doğrulama, veri sınırlı olduğunda model performansını tahmin etmek ve modelleri seçmek için standart bir araçtır ve bootstrap belirsizliği nicelleştirmek için yaygın olarak kullanılmaktadır; bunların yanlış uygulanması, örneğin test bilgisinin eğitime sızdırılması veya değerlendirme verileri üzerinde ayarlama yapılması gibi durumlar, abartılı sonuçların sık görülen ve ciddi bir nedenidir.
Tarihçe
Çapraz doğrulama, 1970'lerde Stone ve Geisser tarafından tahmin hatasını tahmin etmek için resmi bir yöntem olarak geliştirilmiştir. Efron, bootstrap yöntemini 1979'da tanıtmıştır ve bu yeniden örnekleme yöntemleri, istatistik ve makine öğrenimi genelinde değerlendirme ve belirsizlik tahmini için vazgeçilmez hale gelmiştir.
Öne çıkan isimler
- Mervyn Stone
- Bradley Efron
- Robert Tibshirani
İlgili konular
Temel eserler
- hastie2009
- efron1993
- murphy2012
Sıkça sorulan sorular
- k-katlı çapraz doğrulama ne işe yarar?
- Veriyi k eşit parçaya böler, ardından modeli k kez eğitir; her seferinde farklı bir parçayı test için ayırır ve geri kalanını eğitim için kullanır. k test sonucunun ortalaması, modelin görülmemiş veriler üzerinde nasıl performans göstereceğine dair bir tahmin sunar.
- İç içe çapraz doğrulama neden bazen gereklidir?
- Hiperparametreleri ayarlarken ve performansı aynı çapraz doğrulama ile ölçerken, tahmin iyimser olacaktır çünkü seçimler o verilere göre yapılmıştır. İç içe çapraz doğrulama, ayarlama için bir iç döngü ve değerlendirme için bir dış döngü kullanarak bu iki süreci ayrı tutar.