EM Algoritması
Beklenti-maksimizasyon algoritması, eksik verili veya gizli değişkenli modellerde, eksik bilgiyi doldurma (impute etme) ile ortaya çıkan beklenen log-olabilirliği maksimize etme arasında geçiş yaparak en yüksek olabilirlik tahminlerini bulmaktadır.
Tanım
Beklenti-maksimizasyon algoritması, eksik verili bir olabilirliği, mevcut parametreler (E-adımı) verildiğinde beklenen tam veri log-olabilirliğini tekrar tekrar oluşturarak ve parametreleri güncellemek için (M-adımı) bunu maksimize ederek maksimize eden iteratif bir prosedürdür.
Kapsam
Bu konu, algoritmayı tanımlayan E-adımı ve M-adımı, olabilirliğin asla azalmadığını garanti eden monoton artış özelliği, yakınsama davranışı ve hızı, karışım modellerine ve eksik verilere tipik uygulamaları ile genelleştirilmiş ve Monte Carlo EM varyantları gibi uzantılarını kapsamaktadır. Diğer artış yöntemleriyle ilişkisi de belirtilmektedir.
Temel sorular
- E-adımı ve M-adımı, gözlemlenen veri olabilirliğini birlikte nasıl artırmaktadır?
- Algoritma, olabilirlikte monoton bir artışı neden garanti etmektedir?
- Algoritma, karışım modellerine ve eksik veri problemlerine nasıl uygulanmaktadır?
- Yakınsama hızını ne belirlemektedir ve hızlandırılmış varyantlar yavaş yakınsamayı nasıl ele almaktadır?
Anahtar kavramlar
- Tam veri olabilirliği
- E-adımı
- M-adımı
- Gizli değişkenler
- Monoton yakınsama
- Yerel maksimumlar
Temel kuramlar
- E-adımı ve M-adımı değişimi
- E-adımı, mevcut parametreler altında tam veri log-olabilirliğinin beklentisini hesaplar ve M-adımı ise bu beklentiyi maksimize eder; bu iterasyon, parametreleri gözlemlenen veri olabilirliğinin bir durağan noktasına doğru yönlendirmektedir.
- Monoton artış özelliği
- Her iterasyonun gözlemlenen veri olabilirliğini azaltmadığı kanıtlanmıştır, bu da algoritmaya kararlılık sağlamaktadır; ancak başlangıç değerlerine bağlı olarak yavaşça ve yalnızca yerel bir maksimuma yakınsayabilmektedir.
Klinik önem
Beklenti-maksimizasyon algoritması, sonlu karışım modelleri, gizli Markov modelleri, faktör ve gizli sınıf modellerinin uygulanması ve eksik verilerin işlenmesi için standart bir araçtır; bu da onu istatistik, makine öğrenimi, genetik ve sinyal işleme alanlarında temel kılmaktadır.
Tarihçe
Dempster, Laird ve Rubin, 1977'de daha önceki birçok özel durum algoritmasını genel beklenti-maksimizasyon çerçevesinde birleştirmiştir; sonraki çalışmalar yakınsama teorisini, hızlandırma şemalarını ve çözülemeyen adımlar için Monte Carlo ve genelleştirilmiş varyantları geliştirmiştir.
Öne çıkan isimler
- Arthur Dempster
- Nan Laird
- Donald Rubin
- Geoffrey McLachlan
İlgili konular
Temel eserler
- dempster1977
- mclachlan2008
Sıkça sorulan sorular
- Doğrudan maksimizasyon yerine beklenti-maksimizasyon algoritması neden kullanılmaktadır?
- Veriler eksik olduğunda veya bir model gizli değişkenlere sahip olduğunda, gözlemlenen veri olabilirliğini doğrudan maksimize etmek zor olabilmektedir. Algoritma, daha basit olan tam veri olabilirliği ile çalışmakta ve her adımda garanti edilen bir azalma olmaksızın güvenilir bir şekilde yakınsamaktadır.
- Algoritma her zaman global maksimumu bulur mu?
- Hayır. Başlangıç değerlerine bağlı olan durağan bir noktaya yakınsamaktadır; bu nokta yerel bir maksimum veya eyer noktası olabilir. Birkaç farklı başlangıç değerinden çalıştırmak, genellikle uygulanan bir önlemdir.