Gibbs Örneklemesi (İstatistiksel Hesaplama)
Gibbs örneklemesi, çok değişkenli bir dağılımdan örneklem almak için değişkenleri arasında döngü yaparak ve her birini diğerlerinin mevcut değerleri verildiğinde kendi tam koşullu dağılımından sırayla çekerek çalışan bir Markov zinciri Monte Carlo yöntemidir.
Tanım
Gibbs örneklemesi, ortak bir dağılımdan örnekler üretmek için her bir bileşeni veya bileşen bloğunu, diğer tüm bileşenler verildiğinde kendi koşullu dağılımından yinelemeli olarak örnekleyen bir Markov zinciri Monte Carlo algoritmasıdır.
Kapsam
Bu konu, Gibbs örneklemesini bir hesaplama algoritması olarak ele almaktadır: örnekleyicinin tam koşullu dağılımlardan oluşturulması, kabul olasılığı bir olan bir Metropolis-Hastings adımı olarak yorumlanması, karışımı iyileştiren bloklama ve birleştirme stratejileri, veri artırımı ve algoritmanın yakınsama ve otokorelasyon davranışı incelenmektedir. Uygulamalı Bayes çıkarım perspektifi, Bayes hesaplaması (bayesian computation) başlığı altında ayrı olarak ele alınmaktadır.
Temel sorular
- Tam koşullu dağılımlardan tekrarlanan örneklemeler ortak hedefe nasıl yakınsar?
- Gibbs örnekleyicisi neden kabul olasılığı bir olan bir Metropolis-Hastings algoritmasıdır?
- Bloklama ve birleştirme, örnekleyicinin karışımını nasıl iyileştirir?
- Veri artırımı, koşulluları işlenebilir kılmak için gizli değişkenleri nasıl tanıtır?
Anahtar kavramlar
- Tam koşullu dağılım
- Veri artırımı
- Bloklama ve birleştirme
- Koşulluların uyumluluğu
- Karışım (Mixing)
Temel kuramlar
- Tam koşullu örnekleme
- Her bir değişkeni, diğerleri verildiğinde kendi koşullu dağılımından sırayla örneklemek, koşullular uyumlu ve zincir indirgenemez olduğu sürece, durağan dağılımı ortak hedef olan bir Markov zinciri tanımlamaktadır.
- Veri artırımı ve bloklama
- Yardımcı gizli değişkenler tanıtmak, tam koşulluları standart ve örneklemesi kolay hale getirebilirken, korelasyonlu değişkenleri bloklar halinde güncellemek, yavaş bileşen bazlı güncellemelerin aksi takdirde üreteceği otokorelasyonu azaltmaktadır.
Klinik önem
Gibbs örneklemesi, birçok modelin basit ve standart tam koşullulara sahip olması nedeniyle istatistiksel hesaplamanın temel algoritmalarından biridir; genel amaçlı örnekleyicilerin temelini oluşturmakta ve karma modellere, gizli değişken modellerine, görüntü restorasyonuna ve genetik bağlantı analizine uygulanmaktadır.
Tarihçe
Geman ve Geman, 1984 yılında görüntü restorasyonu için Gibbs örnekleyicisini tanıtmış ve adını istatistiksel fiziğin Gibbs dağılımlarından almıştır. Gelfand ve Smith'in 1990 tarihli makalesi, bu yöntemin geniş uygulanabilirliğini göstererek hesaplamalı istatistik alanında yaygın bir şekilde benimsenmesini sağlamıştır.
Öne çıkan isimler
- Stuart Geman
- Donald Geman
- Alan Gelfand
- Adrian Smith
İlgili konular
Temel eserler
- geman1984
- gelfand1990
Sıkça sorulan sorular
- Gibbs örneklemesi özellikle ne zaman kullanışlıdır?
- Tam koşullu dağılımlar doğrudan örneklemesi yapılabilen standart dağılımlar olduğunda. Bu durumda, her öneri kabul edildiği için önerilerin ayarlanmasına veya kabul adımlarına gerek kalmamaktadır.
- Bir Gibbs örnekleyicisi neden yavaş karışabilir?
- Değişkenler yüksek oranda korelasyonlu olduğunda, bunları tek tek güncellemek zinciri dar sırtlar boyunca küçük adımlarla hareket ettirerek yüksek otokorelasyon üretmektedir. Korelasyonlu değişkenleri bloklamak veya modeli yeniden parametrelendirmek karışımı iyileştirebilmektedir.