Ayrık Zamanlı Markov Zincirleri
Ayrık zamanlı bir Markov zinciri, bir sonraki durumun dağılımının yalnızca mevcut duruma bağlı olduğu, geçmişin tamamına değil, tam sayı zamanında evrilen rastgele durumların bir dizisidir.
Tanım
Ayrık zamanlı bir Markov zinciri, sayılabilir bir durum uzayında, negatif olmayan tam sayılarla indekslenmiş stokastik bir süreç olup, bir sonraki durumun tüm geçmiş göz önüne alındığında koşullu dağılımı yalnızca mevcut duruma bağlıdır ve bu durum tek adımlı bir geçiş olasılık matrisi ile kodlanmaktadır.
Kapsam
Bu kapsam, Markov özelliği ve geçiş matrislerini, durumların iletişim, tekrarlama (recurrence), geçicilik (transience) ve periyodiklik açısından sınıflandırılmasını, durağan ve limit dağılımların varlığını ve tekliğini, yakınsama ve karışım oranlarını, ayrıca Markov zinciri Monte Carlo ve gizli Markov modelleri gibi başlıca uygulamaları içermektedir.
Alt konular
Temel sorular
- Markov özelliği ne anlama gelmektedir ve bir geçiş matrisi ile nasıl ifade edilmektedir?
- Durumlar tekrarlayan (recurrent), geçici (transient) ve periyodik sınıflara nasıl ayrılmaktadır?
- Bir zincir ne zaman tek bir durağan dağılıma sahip olur ve ona yakınsar?
- Bir zincir dengeye ne kadar hızlı yaklaşmaktadır ve bu durum simülasyonda nasıl kullanılmaktadır?
Temel kuramlar
- Markov özelliği ve Chapman-Kolmogorov denklemleri
- Mevcut durum verildiğinde gelecek, geçmişten koşullu olarak bağımsızdır; bu nedenle çok adımlı geçiş olasılıkları geçiş matrislerinin çarpılmasıyla elde edilmektedir, bu da n-adımlı davranışın tek adımlı matristen hesaplanabilir olmasını sağlamaktadır.
- Markov zincirleri için Ergodik teorem
- İndirgenemez, aperiyodik, pozitif-tekrarlayan (positive-recurrent) bir zincir, marjinal dağılımın yakınsadığı ve fonksiyonların zaman ortalamalarının neredeyse kesin olarak yakınsadığı tek bir durağan dağılıma sahiptir; bu da uzun vadeli frekansları durağan yasaya bağlamaktadır.
Klinik önem
Ayrık zamanlı Markov zincirleri, rastgele yürüyüşleri, kuyruk anlık görüntülerini, popülasyon genetiğini, PageRank gibi sıralama algoritmalarını ve ekonomik durum geçişlerini modellemektedir; bunların yakınsama kuramı, istatistik, fizik ve makine öğrenimi genelinde karmaşık olasılık dağılımlarından örnekleme için baskın hesaplama yöntemi olan Markov zinciri Monte Carlo'nun temelini oluşturmaktadır.
Tarihçe
Andrey Markov, 1906 yılında bağımsızlığın ötesinde büyük sayılar yasasını genişletmek amacıyla bağımlı ancak hafızasız geçişlere sahip zincirleri tanıtmıştır ve bunları Puşkin'in şiirlerindeki harf dizileriyle örneklendirmiştir. Kolmogorov ve Doeblin, 1930'larda yakınsama kuramını titiz ölçü teorik temeller üzerine oturtmuşlardır.
Öne çıkan isimler
- Andrey Markov
- Andrey Kolmogorov
- Wolfgang Doeblin
İlgili konular
Temel eserler
- norris1997
Sıkça sorulan sorular
- Bir süreci Markov zinciri yapan nedir?
- Markov özelliği: mevcut durum verildiğinde, gelecekteki evrim zincirin o duruma nasıl ulaştığından bağımsızdır, bu nedenle tüm dinamikler tek adımlı geçiş olasılıkları ile tanımlanmaktadır.
- Bir Markov zinciri ne zaman tek bir uzun vadeli dağılıma yakınsar?
- İndirgenemez, aperiyodik ve pozitif tekrarlayan (positive recurrent) olduğunda; o zaman zincirin başlangıç durumundan bağımsız olarak yakınsadığı tek bir durağan dağılım bulunmaktadır.