İstatistiksel Öğrenme Kuramı
İstatistiksel öğrenme kuramı, sonlu veriden öğrenmenin ne zaman ve neden genellenebildiğini inceleyerek makine öğreniminin matematiksel temellerini sağlamaktadır.
Tanım
İstatistiksel öğrenme kuramı, sonlu bir örnekleme uydurulan bir modelin, daha önce görülmemiş veriler üzerinde ne zaman iyi performans göstereceğini analiz etmek için olasılık ve istatistik kullanan, veriye uyum sağlama ile model karmaşıklığını kontrol etme arasındaki değişimi karakterize eden makine öğrenimi dalıdır.
Kapsam
Bu alan, genelleme kuramını kapsamaktadır: ampirik risk minimizasyonu çerçevesi, Vapnik-Chervonenkis boyutu gibi model kapasitesi ölçütleri, eğitim ve gerçek hatayı ilişkilendiren genelleme sınırları, yanlılık-varyans değişimi ve muhtemelen yaklaşık olarak doğru model (probably approximately correct model) dahil olmak üzere hesaplamalı öğrenme kuramı. Güvenilir bir şekilde öğrenmek için ne kadar veriye ihtiyaç duyulduğu temel sorusunu ele almaktadır.
Alt konular
Temel sorular
- Eğitim hatasını minimize etmek, yeni verilerdeki düşük hatayı ne zaman garanti eder?
- Bir model sınıfının kapasitesi veya karmaşıklığı nasıl ölçülür?
- Belirli bir doğrulukla bir kavramı öğrenmek için ne kadar veriye ihtiyaç vardır?
- Aşırı model karmaşıklığı genellemeyi neden olumsuz etkiler?
Temel kuramlar
- Tekdüze yakınsama ve VC kuramı
- Vapnik ve Chervonenkis, ampirik hatanın, bir model sınıfı üzerinde gerçek hataya, sınıfın kapasitesi tarafından belirlenen bir oranda tekdüze olarak yakınsadığını göstermiştir; bu, karmaşıklığı genellemeye bağlayan temel bir sonuçtur.
- Yapısal risk minimizasyonu
- Sadece eğitim hatasını minimize etmek yerine, öğrenme, gerçek hata üzerindeki bir sınırı minimize etmek için karmaşıklığı mevcut verilerle eşleşen bir model sınıfı seçerek uyum ile kapasite arasında bir denge kurmalıdır.
- Yanlılık-varyans ve karmaşıklık kontrolü
- Genelleme hatası, aşırı basit modellerden kaynaklanan yanlılık ile aşırı esnek modellerden kaynaklanan varyans arasındaki bir değişimi yansıtır ve karmaşıklığın verilere göre ayarlanması gerektiğini biçimsel olarak açıklar.
Klinik önem
İstatistiksel öğrenme kuramı, makine öğrenimi yöntemlerinin neden çalıştığını açıklamakta ve alan genelinde kullanılan düzenlileştirme (regularization), model seçimi ve kapasite kontrolü için kavramsal gerekçeyi sunmaktadır; pratik uygulamalarda genellikle gevşek olsa da, bu kuramın sınırları, uygulayıcıların aşırı uyum (overfitting), örneklem büyüklüğü ve öğrenmenin sınırları hakkında düşünme biçimlerini şekillendirmektedir.
Tarihçe
Bu alan, Vapnik ve Chervonenkis'in 1960'lar ve 1970'lerdeki tekdüze yakınsama (uniform convergence) ve kapasite üzerine çalışmalarıyla ve Valiant'ın 1984'teki öğrenmeyi hesaplamalı bir problem olarak çerçeveleyen muhtemelen yaklaşık olarak doğru modeliyle (probably approximately correct model) ortaya çıkmıştır. Daha sonra istatistikten gelen yanlılık-varyans perspektifiyle birleşen bu yaklaşımlar, makine öğreniminin teorik çekirdeğini oluşturmaktadır.
Tartışmalar
- Aşırı parametrelendirilmiş modeller neden genelleme yapar?
- Klasik kuram, kapasitesi veriyi çok aşan modellerin aşırı uyum sağlayacağını öngörmektedir; ancak çok büyük sinir ağları genellikle iyi genelleme yapmaktadır, bu da genelleme kuramının aktif olarak yeniden incelenmesine yol açmaktadır.
Öne çıkan isimler
- Vladimir Vapnik
- Alexey Chervonenkis
- Leslie Valiant
İlgili konular
Temel eserler
- vapnik1995
- vapnik1971
- hastie2009
Sıkça sorulan sorular
- İstatistiksel öğrenme kuramı neyi garanti etmeye çalışır?
- Eğitim verilerindeki düşük hatanın, aynı dağılımdan çekilen görülmemiş verilerdeki düşük hatayı ima ettiği koşulları araştırmaktadır. Garantiler, gerçek hata ile eğitim hatası ve model karmaşıklığı ölçüsü arasındaki ilişkileri belirten sınırlar şeklinde ortaya konmaktadır.
- Model karmaşıklığı neden bu kadar önemlidir?
- Çok karmaşık bir model sınıfı, gürültüsü de dahil olmak üzere herhangi bir eğitim verisine uyum sağlayabilir ve bu nedenle yeni veriler hakkında bize çok az bilgi verir. Kuram, genellemenin sınıfın kapasitesine bağlı olduğunu göstermektedir, bu nedenle güvenilir öğrenme için karmaşıklığın kontrol edilmesi esastır.