Düzenlileştirme ve Model Karmaşıklığı
Düzenlileştirme, bir modeli cezalandırarak veya kısıtlayarak model karmaşıklığını kontrol eder, aşırı uyumu azaltır ve genelleştirilebilirliği artırır.
Tanım
Düzenlileştirme, bir öğrenme prosedüründe aşırı uyum eğilimini azaltan herhangi bir değişikliktir; genellikle kayba model karmaşıklığına bir ceza ekleyerek veya modeli kısıtlayarak yapılır, böylece eğitilmiş model, eğitim verilerine biraz daha kötü uyum sağlama pahasına bile daha iyi genelleşir.
Kapsam
Bu konu, karmaşıklığı kontrol etmeye yönelik teknikleri kapsamaktadır: parametreler üzerindeki L2 ve L1 cezaları, erken durdurma, sinir ağlarında dropout ve veri artırımı (data augmentation) ile model seçiminde karmaşıklığı cezalandıran bilgi kriterleri. Düzenlileştirmeyi, daha basit modellere yönelik bir tercihi kodlama olarak çerçeveler ve bunu parametreler üzerindeki öncüllerin Bayesçi görüşüyle ilişkilendirir.
Temel sorular
- Karmaşıklık cezaları aşırı uyumu nasıl azaltır?
- L1 ve L2 cezaları etkileri açısından nasıl farklılık gösterir?
- Sinir ağlarına özgü düzenlileştirme yöntemleri nelerdir?
- Düzenlileştirme, öncüllerin Bayesçi kullanımıyla nasıl ilişkilidir?
Temel kuramlar
- Cezalı kayıp
- Eğitim kaybına parametre büyüklüğü üzerinde bir ceza eklemek, aşırı karmaşık çözümleri engeller; L2 katsayıları düzgün bir şekilde küçültürken, L1 bazılarını sıfıra ayarlayarak seyreklik teşvik eder.
- Derin öğrenmede düzenlileştirme
- Erken durdurma, dropout, ağırlık bozunumu (weight decay) ve veri artırımı (data augmentation) gibi teknikler, aksi takdirde büyük kapasiteleri göz önüne alındığında aşırı uyum sağlayacak olan sinir ağlarının etkin karmaşıklığını kontrol eder.
- Bayesçi yorum
- Bir karmaşıklık cezası, parametreler üzerinde bir öncüle karşılık gelir, bu nedenle düzenlileştirilmiş tahmin, bu öncül altında en olası parametreleri bulmak olarak okunabilir ve düzenlileştirmeyi Bayesçi çıkarımla ilişkilendirir.
Klinik önem
Düzenlileştirme, modellerin genelleşmesini sağlamak için en önemli pratik araçlardan biridir ve modern derin ağlarda olduğu gibi, modellerin verilere göre yüksek kapasiteye sahip olduğu durumlarda esastır; doğru miktarda ve biçimde düzenlileştirme, güvenilir modeller oluşturmanın merkezi bir ayar problemidir.
Tarihçe
Cezalı tahmin, iyi tanımlanmamış (ill-posed) problemler için Tikhonov düzenlileştirmesine ve istatistikte ridge regresyonuna dayanmaktadır; lasso daha sonra seyreklik eklemiştir. Derin öğrenmede, 2012 civarında tanıtılan dropout gibi yöntemler ile ağırlık bozunumu (weight decay) ve veri artırımı (data augmentation), sinir ağlarının büyük kapasitesini kontrol etmenin standart yolları haline gelmiştir.
Öne çıkan isimler
- Andrey Tikhonov
- Robert Tibshirani
- Geoffrey Hinton
İlgili konular
Temel eserler
- hastie2009
- goodfellow2016
- tibshirani1996
Sıkça sorulan sorular
- Düzenlileştirme ne işe yarar?
- Bir modelin aşırı karmaşık hale gelmesini engeller, genellikle parametrelerinin büyüklüğüne bir ceza ekleyerek veya eğitimi kısıtlayarak yapılır. Bu, aşırı uyumu azaltır, böylece model gürültü yerine temel deseni yakalar ve yeni veriler üzerinde daha iyi performans gösterir.
- L1 düzenlileştirmesi neden seyrek modeller üretir?
- Parametrelerin mutlak değeri üzerindeki L1 cezası, bazı katsayıları sadece küçültmek yerine tam olarak sıfıra iten bir şekle sahiptir. Bu, ilgili özellikleri etkili bir şekilde kaldırarak daha basit, daha yorumlanabilir bir model sağlar.