Maksimum Olabilirlik Tahmini

Maksimum olabilirlik tahmini, gözlemlenen verilerin en olası olduğu parametre değerini seçerek, tahmin için genel, asimptotik olarak optimal bir yöntem sunmaktadır.

Tanım

Maksimum olabilirlik tahmin edicisi, olabilirlik fonksiyonunu maksimize eden parametre değeridir; yani, parametrenin bir fonksiyonu olarak ele alınan gözlemlenen verilerin olasılığı veya yoğunluğudur.

Kapsam

Bu konu; olabilirlik ve log-olabilirlik fonksiyonlarını, skor denklemlerini ve Fisher bilgisini, maksimum olabilirlik tahmin edicilerinin varlığını ve hesaplanmasını, yeniden parametrelendirme altındaki değişmezlik özelliğini ve tutarlılık, asimptotik normallik ve asimptotik etkinlik sağlayan büyük örneklem kuramını, bu sonuçların gerektirdiği düzenlilik koşullarıyla birlikte, sınır ve düzensiz durumlar gibi yaygın başarısızlıkları kapsamaktadır.

Temel sorular

• Olabilirlik fonksiyonu nasıl tanımlanır ve neden parametrenin olasılığı yerine maksimize edilir?
• Skor denklemleri nelerdir ve Fisher bilgisi çözüme nasıl dahil olur?
• Hangi düzenlilik koşulları altında maksimum olabilirlik tahmin edicisi tutarlı ve asimptotik olarak normaldir?
• Maksimum olabilirlik, düzensiz veya sınır problemleri gibi durumlarda ne zaman başarısız olur?

Temel kuramlar

Olabilirlik ilkesi ve skor

Çıkarım, olabilirlik fonksiyonu tarafından yönlendirilir; skorun, yani türevinin sıfıra eşitlenmesi, çözümü maksimum olabilirlik tahmin edicisi olan tahmin denklemlerini verir.

Asimptotik etkinlik

Düzenlilik koşulları altında maksimum olabilirlik tahmin edicisi tutarlı, varyansı ters Fisher bilgisine eşit olan asimptotik olarak normal ve limit durumunda Cramer-Rao sınırına ulaşan asimptotik olarak etkindir.

Klinik önem

Maksimum olabilirlik; regresyon, genelleştirilmiş doğrusal modeller, karma modeller, sağkalım analizi ve çoğu olasılıksal makine öğrenimi modeli için varsayılan tahmin motoru olarak kullanılmaktadır; bu modellerde negatif log-olabilirlik kaybını minimize etmek, olabilirlik maksimizasyonuna eşdeğer kabul edilmektedir.

Tarihçe

Fisher, maksimum olabilirlik yöntemini 1912'den 1920'lere kadar olan çalışmalarında formüle etmiş ve etkinliğini kanıtlamıştır. Wald, 1949'da titiz tutarlılık koşulları sunmuş, Le Cam'ın yüzyıl ortasındaki çalışmaları ise modern etkinlik sonuçlarının temelini oluşturan yerel asimptotik kuramı açıklığa kavuşturmuştur.

Öne çıkan isimler

• Ronald A. Fisher
• Abraham Wald
• Lucien Le Cam
• Aad van der Vaart

İlgili konular

• sufficiency and completeness
• unbiased estimation and cramer rao
• consistency and asymptotic normality
• likelihood ratio tests

Temel eserler

• lehmannCasella1998

Sıkça sorulan sorular

Maksimum olabilirlik her zaman yansız bir tahmin edici verir mi?

Hayır. Maksimum olabilirlik tahmin edicileri sonlu örneklemlerde yanlı olabilir; örneğin, normal bir dağılımın maksimum olabilirlik varyansı gibi. Yanlılık, örneklem boyutu arttıkça genellikle ortadan kalkmaktadır.

Neden olabilirlik yerine log-olabilirlik maksimize edilir?

Logaritma artan bir fonksiyondur, bu nedenle aynı maksimize ediciye sahiptir; ancak çarpımları toplamlara dönüştürerek türev almayı basitleştirir ve sayısal kararlılığı artırır.

Bu kavram için yöntemler

• Maximum Likelihood Estimation
• Ordinary Least Squares
• Bayesian Inference
• EM Algorithm
• Logistic regression (ML)
• Generalized Linear Model
• Logistic Regression
• Mixture Modeling

İlgili kavramlar

• Nokta Tahmini
• Newton-Raphson ve Skorlama Yöntemleri
• İstatistik için Optimizasyon
• Asimptotik Kuram
• Tutarlılık ve Asimptotik Normallik
• Olabilirlik Oranı Testleri