Yanlılık-Varyans ve Aşırı Uyum
Yanlılık-varyans dengesi, model karmaşıklığının tahmin hatasını nasıl kontrol ettiğini açıklamakta olup, aşırı uyum ve eksik uyum, bir öğrenicinin dengelemesi gereken iki başarısızlık modu olarak karşımıza çıkmaktadır.
Tanım
Yanlılık-varyans dengesi, beklenen tahmin hatasının, gerçeği yakalamak için çok basit olan bir modelden kaynaklanan yanlılık hatasına ve belirli eğitim örneklemine karşı çok hassas olan bir modelden kaynaklanan varyans hatasına ayrıştığını; model karmaşıklığının ise hatayı bu iki bileşen arasında hareket ettirdiğini ifade eden bir ilkedir.
Kapsam
Bu konu, beklenen tahmin hatasının yanlılık, varyans ve indirgenemez gürültüye ayrıştırılmasını; aşırı uyum ve eksik uyumun anlamını; ve dengeyi değiştirmede düzenlileştirmenin (regularizasyonun) rolünü kapsamaktadır. Ayrıca, klasik U şeklindeki hata eğrisini ve aşırı parametrelendirilmiş modellerde gözlemlenen çift düşüşe (double descent) ilişkin son bulguları da ele almaktadır.
Temel sorular
- Beklenen hata, yanlılık, varyans ve gürültüye nasıl ayrışmaktadır?
- Aşırı uyum ile eksik uyumu ne ayırt etmektedir?
- Düzenlileştirme (regularizasyon), yanlılık-varyans dengesini nasıl değiştirmektedir?
- Çok esnek modeller, yüksek kapasitelerine rağmen bazen neden genelleme yapabilmektedir?
Temel kuramlar
- Yanlılık-varyans ayrıştırması
- Karesel hata kaybı için beklenen hata, karesel yanlılık, varyans ve indirgenemez gürültüye ayrılmakta olup, basitleştirici varsayımların yanlılık pahasına varyansı nasıl azalttığını ve bunun tersini açıkça ortaya koymaktadır.
- Aşırı uyum ve düzenlileştirme (regularizasyon)
- Aşırı uyum, bir modelin sinyal yerine gürültüyü yakalaması durumunda meydana gelmektedir; düzenlileştirme (regularizasyon), varyansı azaltmak için karmaşıklığı cezalandırmakta, böylece yanlılıkta küçük bir artışı, varyansta daha büyük bir azalmayla takas etmektedir.
- Klasik dengenin ötesinde
- Çok aşırı parametrelendirilmiş rejimlerde hata, interpolasyon noktasını geçtikten sonra tekrar azalabilmekte (çift düşüş (double descent) fenomeni), bu durum tek bir U şeklindeki eğrinin klasik görünümünü karmaşıklaştırmaktadır.
Klinik önem
Yanlılık-varyans dengesi, model uydurmanın pratik özünü oluşturmakta olup, yeni verilerdeki hatayı en aza indirmek amacıyla model boyutu, düzenlileştirme gücü ve özellik sayısının seçimlerine rehberlik etmektedir; bir modelin eksik uyum mu yoksa aşırı uyum mu gösterdiğini teşhis etmek, uygulamalı makine öğreniminde rutin ve temel bir adımdır.
Tarihçe
Yanlılık-varyans ayrıştırması, 1992 civarında Geman ve arkadaşları tarafından sinir ağları ve öğrenme için formüle edilmiş ve istatistik ile makine öğreniminde standart bir bakış açısı haline gelmiştir. Düzenlileştirme kuramı, karmaşıklık kontrolünü resmileştirmiş; son çift düşüş (double descent) bulguları ise modern aşırı parametrelendirilmiş modeller için bu dengenin yeniden incelenmesini tetiklemiştir.
Öne çıkan isimler
- Stuart Geman
- Trevor Hastie
- Christopher Bishop
İlgili konular
Temel eserler
- hastie2009
- bishop2006
- geman1992
Sıkça sorulan sorular
- Aşırı uyum ile eksik uyum arasındaki fark nedir?
- Eksik uyum, bir modelin temel örüntüyü yakalamak için çok basit olması durumudur; bu durum yüksek yanlılığa ve eğitim verilerinde bile kötü performansa yol açar. Aşırı uyum ise bir modelin o kadar esnek olmasıdır ki, eğitim verilerindeki gürültüyü bile uydurur; bu da yüksek varyansa ve yeni verilerde kötü performansa yol açar.
- Düzenlileştirme (regularizasyon) nasıl yardımcı olmaktadır?
- Düzenlileştirme (regularizasyon), model karmaşıklığına bir ceza ekleyerek aşırı veya çok sayıda parametreyi caydırmaktadır. Bu durum, genellikle yanlılıkta küçük bir artış pahasına varyansı azaltmakta ve böylece karmaşıklığın aksi takdirde çok yüksek olacağı durumlarda, görülmemiş verilerdeki toplam hatayı düşürmektedir.