Bayesian Ridge Regression (Bayesçi Ridge Regresyonu)
Bayesian Ridge Regression (MacKay Probabilistic Regularisation) · Ayrıca şöyle bilinir: BRR, Bayesian linear regression with automatic relevance determination, evidence approximation ridge, marginal likelihood ridge
Bayesian Ridge Regression, 1992'de David J. C. MacKay tarafından tanıtılan ridge regresyonunun olasılıksal bir formülasyonudur; bu formülasyonda düzenlileştirme gücü ve gürültü kesinliği analist tarafından sabitlenmez, bunun yerine gözlemlenen verinin marjinal olabilirlik (kanıt) maksimize edilerek otomatik olarak tahmin edilir. Sonuç, regresyon ağırlıkları üzerinde tam bir sonsal dağılım ile birlikte kalibre edilmiş öngörüsel belirsizliktir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Bayesian Ridge Regression, analistin düzenlileştirilmiş bir doğrusal model istediği ancak ceza parametresini çapraz doğrulama yoluyla manuel olarak ayarlamaktan kaçınmak istediği veya nokta tahminlerinin yanı sıra kalibre edilmiş öngörüsel belirsizlik aralıklarının gerektiği durumlarda uygundur. Özellikler ve yanıt arasında doğrusal bir ilişki, Gauss gürültüsü ve ağırlıklar üzerine küresel bir Gauss önselinin makul bir küçülme varsayımı olduğunu varsayar. Düşük ila orta boyutlu ayarlar (en az 20 gözlemle birkaç bin özelliğe kadar) için uygundur ve gürültü seviyesinin belirsiz olduğu veya düzenlileştirme gücünün veri kümeleri arasında değişmesinin beklendiği durumlarda adi ridge regresyonuna tercih edilir. Seyreklik (sparsity) gerektiğinde (ARD regresyonu veya Lasso kullanın), ilişkinin güçlü bir şekilde doğrusal olmadığı durumlarda veya n çok büyük olduğunda ve kanıt optimizasyonunun hesaplama açısından çözülebilirliği önemli olduğunda uygun değildir.
Güçlü yönler & sınırlılıklar
- Otomatik düzenlileştirme: alfa ve beta veriden tahmin edilir, bu da ayrı bir çapraz doğrulama ızgara aramasına olan ihtiyacı ortadan kaldırır.
- Kalibre edilmiş belirsizlik: sonsal öngörüsel dağılım, hem gürültüyü hem de ağırlık belirsizliğini hesaba katan dürüst güven aralıkları sağlar.
- Analitik çözülebilirlik: Gauss-Gauss eşleniği, kapalı formlu sonsal ve kanıt ifadeleri verir — MCMC veya varyasyonel yaklaşımlar gerekmez.
- Zayıf sinyallere karşı sağlamlık: kanıt prosedürü, aşırı karmaşık modeller marjinal olasılık tarafından cezalandırıldığı için, tahmin edicilerin faydalı sinyalleri geçtiği durumlarda bile aşırı uyumu önler.
- Yorumlanabilir katsayılar: sonsal ortalamalar düzenlileştirilmiş nokta tahminleri olarak hizmet ederken, sonsal varyanslar her bir katsayının veri tarafından ne kadar iyi belirlendiğini ölçer.
- Doğrusallık varsayımı: yöntem, doğrusal modellerin tüm sınırlamalarını miras alır; açık özellik mühendisliği olmadan doğrusal olmayan özellik-yanıt ilişkilerini yakalayamaz.
- Küresel önsel: izotropik Gauss önseli, tüm ağırlıklara eşit küçülme uygular, bu da özellik önemlerinin büyük ölçüde farklılaştığı durumlarda optimal değildir (ARD regresyonu bunu ele alır).
- Yakınsama garantisi yok: kanıt yeniden tahmini, marjinal olabilirlik fonksiyonunun yerel bir maksimumuna yakınsayan bir EM benzeri prosedürdür; farklı başlangıç değerleri farklı hiperparametre çözümleri verebilir.
- Hesaplama maliyeti: S_N'nin oluşturulması ve tersinin alınması, özellik sayısı p'nin küpü olan O(p^3) maliyete sahiptir, bu da ek yaklaşımlar olmadan çok yüksek boyutlu veriler için pratik değildir.
- Gauss gürültüsü varsayımı: ağır kuyruklu gürültü veya aykırı değerler, kanıt-optimize edilmiş hiperparametreleri bozabilir; sağlam Bayes alternatifleri veya aykırı değer ön işleme dikkate alınmalıdır.
SSS
Otomatik Alaka Belirleme (ARD) regresyonu, her özelliğe kendi kesinlik parametresi alfa_j'yi atayarak Bayesian Ridge Regression'ı genişletir. Bu, modelin ilgisiz özellikleri sıfıra yaklaştırmasına, ilgili olanları ise büyük ölçüde cezasız bırakmasına olanak tanır. Yalnızca özelliklerin bir alt kümesinin gerçekten öngörücü olduğunu düşündüğünüzde ve seyrek bir çözüm istendiğinde ARD'yi kullanın. ARD daha fazla hesaplama gerektirir ve yerel optimumlara duyarlı olabilir, bu nedenle seyreklik birincil hedef olmadığında Bayesian Ridge Regression daha güvenli bir varsayılan değerdir.
Öngörüsel belirsizliği nasıl yorumlarım?
Yeni bir gözlem x_* için, öngörüsel varyans iki bileşene sahiptir. beta^{-1} terimi, sonsuz eğitim verisiyle bile kalacak olan indirgenemez gürültü olan aleatorik belirsizliği temsil eder. x_*' * S_N * x_* terimi, sonlu eğitim setine göre gerçek ağırlıklar hakkındaki belirsizlik olan epistomik belirsizliği temsil eder. Eğitim dağılımından uzak noktalar büyük epistomik belirsizliğe sahiptir, bu nedenle model ekstrapolasyon yaptığını gösterir. Her iki bileşen de kanıt prosedürü aracılığıyla otomatik olarak kalibre edilir.
Bayesian Ridge Regression'ı kendi veri kümenizde doğrudan MethodMind'da çalıştırın — özelliklerinizi ve sürekli hedef değişkeninizi yükleyin, araç girdileri standartlaştıracak, kanıt prosedürü aracılığıyla alfa ve beta'yı optimize edecek ve her tahmin için sonsal ortalama katsayılarını, öngörü aralıklarını ve aleatorik ile epistomik belirsizliğin ayrışımını döndürecektir.
Kaynaklar
- MacKay, D. J. C. (1992). Bayesian Interpolation. Neural Computation, 4(3), 415–447. DOI: 10.1162/neco.1992.4.3.415 ↗
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 3). Springer. ISBN: 978-0-387-31073-2
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Bayesian Ridge Regression (MacKay Probabilistic Regularisation). ScholarGate. https://scholargate.app/tr/machine-learning/bayesian-ridge-regression
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Elastic NetMakine öğrenmesi↔ karşılaştır
- Lasso RegresyonuMakine öğrenmesi↔ karşılaştır
- Ridge Regression (Sırt Regresyonu)Makine öğrenmesi↔ karşılaştır