Estimasi Tak Bias dan Batas Cramer-Rao

Di antara estimator yang rata-rata benar, ketaksamaan Cramer-Rao menetapkan batas bawah pada varians, dan teorema Rao-Blackwell serta Lehmann-Scheffe menunjukkan cara mencapainya.

Definition

Suatu estimator dikatakan tak bias jika nilai harapannya sama dengan parameter untuk setiap nilai parameter; batas Cramer-Rao menyatakan bahwa varians dari setiap estimator tak bias setidaknya adalah invers dari informasi Fisher.

Scope

Topik ini mencakup ketakbiasan dan keterbatasannya, informasi Fisher untuk satu dan beberapa parameter, batas bawah Cramer-Rao pada varians estimator tak bias, kondisi untuk mencapai batas tersebut, teorema Rao-Blackwell tentang peningkatan estimator dengan pengkondisian pada statistik cukup, dan teorema Lehmann-Scheffe yang mengidentifikasi estimator tak bias varians minimum yang unik melalui statistik cukup lengkap.

Core questions

• Apa itu informasi Fisher, dan bagaimana ia mengukur presisi yang tersedia dalam data?
• Mengapa tidak ada estimator tak bias yang memiliki varians di bawah batas Cramer-Rao, dan kapan batas tersebut tercapai?
• Bagaimana pengkondisian pada statistik cukup, melalui Rao-Blackwell, mengurangi varians?
• Bagaimana kelengkapan dan kecukupan bersama-sama, melalui Lehmann-Scheffe, memilih estimator tak bias terbaik?

Key theories

Ketaksamaan informasi Cramer-Rao

Dalam kondisi regularitas, varians dari estimator tak bias dibatasi di bawah oleh kebalikan dari informasi Fisher, mendefinisikan efisiensi sebagai pencapaian batas ini.

Teorema Rao-Blackwell dan Lehmann-Scheffe

Mengondisikan setiap estimator tak bias pada statistik cukup tidak pernah meningkatkan variansnya; jika statistik tersebut juga lengkap, hasilnya adalah estimator tak bias varians minimum yang unik.

Clinical relevance

Batas Cramer-Rao dan informasi Fisher menetapkan batas presisi fundamental suatu eksperimen, memandu desain eksperimen yang optimal dan kalibrasi sensor, sementara estimator tak bias varians minimum menyediakan estimasi patokan yang menjadi perbandingan prosedur praktis.

History

Cramer dan Rao secara independen menetapkan batas varians sekitar tahun 1945. Hasil peningkatan-melalui-pengkondisian Rao dan Blackwell serta teorema keunikan Lehmann dan Scheffe menyusul pada akhir 1940-an dan awal 1950-an, melengkapi teori klasik estimasi tak bias.

Key figures

• Calyampudi Radhakrishna Rao
• Harald Cramer
• David Blackwell
• Henry Scheffe

Seminal works

• lehmannCasella1998

Frequently asked questions

Apakah batas Cramer-Rao selalu dapat dicapai?

Tidak. Batas ini hanya tercapai dalam kasus-kasus khusus, terutama keluarga eksponensial; secara umum estimator tak bias varians minimum mungkin memiliki varians yang secara ketat di atas batas.

Apa yang diukur oleh informasi Fisher?

Ini mengukur seberapa tajam kemungkinan (likelihood) merespons perubahan parameter, dan karenanya seberapa banyak informasi yang dibawa data tentangnya; informasi Fisher yang lebih besar memungkinkan estimasi yang lebih presisi.