Ước lượng không chệch và cận Cramer-Rao

Trong số các ước lượng đúng trung bình, bất đẳng thức Cramer-Rao đặt ra một giới hạn dưới cho phương sai, và các định lý Rao-Blackwell và Lehmann-Scheffe chỉ ra cách đạt được giới hạn đó.

Definition

Một ước lượng được gọi là không chệch nếu giá trị kỳ vọng của nó bằng tham số cho mọi giá trị tham số; cận Cramer-Rao phát biểu rằng phương sai của bất kỳ ước lượng không chệch nào ít nhất phải bằng nghịch đảo của thông tin Fisher.

Scope

Chủ đề này bao gồm tính không chệch và những hạn chế của nó, thông tin Fisher cho một và nhiều tham số, cận dưới Cramer-Rao về phương sai của một ước lượng không chệch, các điều kiện để đạt được cận, định lý Rao-Blackwell về việc cải thiện một ước lượng bằng cách điều kiện hóa trên một thống kê đủ, và định lý Lehmann-Scheffe xác định ước lượng không chệch có phương sai tối thiểu duy nhất thông qua các thống kê đủ hoàn chỉnh.

Core questions

• Thông tin Fisher là gì, và nó định lượng độ chính xác có sẵn trong dữ liệu như thế nào?
• Tại sao không ước lượng không chệch nào có phương sai dưới cận Cramer-Rao, và khi nào thì cận này đạt được?
• Việc điều kiện hóa trên một thống kê đủ, thông qua Rao-Blackwell, làm giảm phương sai như thế nào?
• Tính đầy đủ và tính đủ cùng nhau, thông qua Lehmann-Scheffe, chọn ra ước lượng không chệch tốt nhất như thế nào?

Key theories

Bất đẳng thức thông tin Cramer-Rao

Trong các điều kiện chính quy, phương sai của một ước lượng không chệch bị chặn dưới bởi nghịch đảo của thông tin Fisher, định nghĩa hiệu quả là việc đạt được cận này.

Các định lý Rao-Blackwell và Lehmann-Scheffe

Việc điều kiện hóa bất kỳ ước lượng không chệch nào trên một thống kê đủ không bao giờ làm tăng phương sai của nó; nếu thống kê đó cũng hoàn chỉnh, kết quả là ước lượng không chệch có phương sai tối thiểu duy nhất.

Clinical relevance

Cận Cramer-Rao và thông tin Fisher đặt ra giới hạn chính xác cơ bản của một thí nghiệm, hướng dẫn thiết kế thí nghiệm tối ưu và hiệu chuẩn cảm biến, trong khi các ước lượng không chệch có phương sai tối thiểu cung cấp các ước lượng chuẩn để so sánh với các quy trình thực tế.

History

Cramer và Rao độc lập thiết lập cận phương sai vào khoảng năm 1945. Kết quả cải thiện bằng cách điều kiện hóa của Rao và Blackwell cùng định lý về tính duy nhất của Lehmann và Scheffe ra đời vào cuối những năm 1940 và đầu những năm 1950, hoàn thiện lý thuyết cổ điển về ước lượng không chệch.

Key figures

• Calyampudi Radhakrishna Rao
• Harald Cramer
• David Blackwell
• Henry Scheffe

Seminal works

• lehmannCasella1998

Frequently asked questions

Cận Cramer-Rao có luôn đạt được không?

Không. Nó chỉ đạt được trong những trường hợp đặc biệt, chủ yếu là các họ phân phối mũ; nói chung, ước lượng không chệch có phương sai tối thiểu có thể có phương sai cao hơn cận một cách nghiêm ngặt.

Thông tin Fisher đo lường điều gì?

Nó đo lường mức độ nhạy bén của hàm khả năng phản ứng với những thay đổi trong tham số, và do đó, lượng thông tin mà dữ liệu mang lại về tham số đó; thông tin Fisher lớn hơn cho phép ước lượng chính xác hơn.