Bayesci En Küçük Kareler Regresyonu (Bayesian Ordinary Least Squares Regression)

Klasik EKK, her katsayı için tek bir nokta tahmini üretir ve tekrarlanan deneyler altında örnekleme dağılımları aracılığıyla belirsizliği değerlendirir. Bayesci EKK, katsayıları rassal değişkenler olarak ele alır, olabilirlik fonksiyonunu bir önsel ile birleştirir ve bir sonsal dağılım raporlar. Yaygın bir önsel altında sonsal ortalama EKK tahminine eşittir, ancak belirsizlik sıklıkçı bir güven aralığı yerine doğrudan bir olasılık yorumuna sahip bir güven aralığı olarak ölçülür.

Yaygın veya bilgilendirici olmayan bir önsel — örneğin β üzerinde düz bir önsel ve σ² üzerinde Jeffreys önseli — verinin baskın olmasına izin verir ve klasik EKK'ya çok yakın sonuçlar elde eder. Katsayı işaretleri veya büyüklükleri hakkında zayıf teorik bilginiz varsa, bunu hafif bilgilendirici bir Normal önsel olarak kodlamak genellikle güçlü kısıtlamalar getirmeden hassasiyeti artırır.

İlgilidirler ancak farklıdırlar. Ridge regresyonu, varyansı σ²/λ ile orantılı sıfır ortalamalı bir Normal önsel ile Bayesci EKK'ya eşdeğerdir; burada λ ridge cezasıdır. Ridge genellikle sıklıkçı bir düzenlileştirme aygıtı olarak gerekçelendirilir ve yalnızca nokta tahminleri raporlar, oysa Bayesci EKK açıkça tam sonsal dağılımı raporlar ve ilkeli önsel elde etmeyi gerektirir.

Standart Normal-Ters-Gama eşlenik önseli altında değil, bu da kapalı formda analitik bir sonsal verir. MCMC yalnızca eşlenik olmayan önseller kullandığınızda, doğrusal olmayan terimler eklediğinizde, hiyerarşik yapı eklediğinizde veya sonsal analitik olarak çözülemez hale getiren işaret kısıtlamaları uyguladığınızda gereklidir.

Standart araç Bayes faktörüdür — iki modelin marjinal olabilirliklerinin oranı — bu da bir belirtim lehine kanıtı sürekli bir ölçekte ölçer. Birçok aday arasından model seçimi için, sapma bilgi kriteri (DIC) veya Tek-Çıkışlı çapraz doğrulama (LOO-CV), marjinal olabilirliklerin doğrudan hesaplanmasını gerektirmeyen pratik alternatiflerdir.