การประมาณค่าแบบไม่เอนเอียงและขอบเขตเครเมอร์-เรา (Cramer-Rao Bound)

ในบรรดาตัวประมาณค่าที่ถูกต้องโดยเฉลี่ย อสมการเครเมอร์-เรา (Cramer-Rao inequality) กำหนดค่าต่ำสุดของความแปรปรวน และทฤษฎีบทเรา-แบล็กเวลล์ (Rao-Blackwell) และเลห์มันน์-เชฟเฟ (Lehmann-Scheffe) แสดงให้เห็นถึงวิธีการที่จะไปถึงค่านั้น

Definition

ตัวประมาณค่าจะไม่มีความเอนเอียง (unbiased) หากค่าคาดหวัง (expected value) ของมันเท่ากับพารามิเตอร์สำหรับทุกค่าพารามิเตอร์ ขอบเขตเครเมอร์-เรา (Cramer-Rao bound) ระบุว่าความแปรปรวนของตัวประมาณค่าแบบไม่เอนเอียงใดๆ จะต้องมีค่าอย่างน้อยเท่ากับส่วนกลับของข้อมูลฟิชเชอร์ (Fisher information)

Scope

หัวข้อนี้ครอบคลุมถึงการไม่เอนเอียงและข้อจำกัดของมัน ข้อมูลฟิชเชอร์ (Fisher information) สำหรับพารามิเตอร์หนึ่งตัวและหลายตัว ขอบเขตล่างเครเมอร์-เรา (Cramer-Rao lower bound) ของความแปรปรวนของตัวประมาณค่าแบบไม่เอนเอียง เงื่อนไขในการบรรลุขอบเขต ทฤษฎีบทเรา-แบล็กเวลล์ (Rao-Blackwell theorem) เกี่ยวกับการปรับปรุงตัวประมาณค่าโดยการกำหนดเงื่อนไขบนสถิติเพียงพอ (sufficient statistic) และทฤษฎีบทเลห์มันน์-เชฟเฟ (Lehmann-Scheffe theorem) ที่ระบุตัวประมาณค่าแบบไม่เอนเอียงที่มีความแปรปรวนต่ำสุดเพียงหนึ่งเดียวผ่านสถิติเพียงพอที่สมบูรณ์ (complete sufficient statistics)

Core questions

• ข้อมูลฟิชเชอร์ (Fisher information) คืออะไร และมันวัดความแม่นยำที่มีอยู่ในข้อมูลได้อย่างไร?
• เหตุใดตัวประมาณค่าแบบไม่เอนเอียงจึงไม่สามารถมีความแปรปรวนต่ำกว่าขอบเขตเครเมอร์-เรา (Cramer-Rao bound) ได้ และเมื่อใดที่สามารถบรรลุขอบเขตนั้นได้?
• การกำหนดเงื่อนไขบนสถิติเพียงพอ (sufficient statistic) ผ่านทฤษฎีบทเรา-แบล็กเวลล์ (Rao-Blackwell) ช่วยลดความแปรปรวนได้อย่างไร?
• ความสมบูรณ์ (completeness) และความเพียงพอ (sufficiency) ร่วมกันผ่านทฤษฎีบทเลห์มันน์-เชฟเฟ (Lehmann-Scheffe) สามารถระบุตัวประมาณค่าแบบไม่เอนเอียงที่ดีที่สุดได้อย่างไร?

Key theories

อสมการข้อมูลเครเมอร์-เรา (Cramer-Rao information inequality)

ภายใต้เงื่อนไขความสม่ำเสมอ (regularity conditions) ความแปรปรวนของตัวประมาณค่าแบบไม่เอนเอียงจะถูกจำกัดจากด้านล่างด้วยส่วนกลับของข้อมูลฟิชเชอร์ (Fisher information) ซึ่งกำหนดประสิทธิภาพว่าเป็นการบรรลุขอบเขตนี้

ทฤษฎีบทเรา-แบล็กเวลล์ (Rao-Blackwell) และเลห์มันน์-เชฟเฟ (Lehmann-Scheffe)

การกำหนดเงื่อนไขตัวประมาณค่าแบบไม่เอนเอียงใดๆ บนสถิติเพียงพอ (sufficient statistic) จะไม่เพิ่มความแปรปรวนของมัน หากสถิตินั้นสมบูรณ์ (complete) ด้วย ผลลัพธ์ที่ได้คือตัวประมาณค่าแบบไม่เอนเอียงที่มีความแปรปรวนต่ำสุดเพียงหนึ่งเดียว

Clinical relevance

ขอบเขตเครเมอร์-เรา (Cramer-Rao bound) และข้อมูลฟิชเชอร์ (Fisher information) กำหนดขีดจำกัดความแม่นยำพื้นฐานของการทดลอง ซึ่งเป็นแนวทางในการออกแบบการทดลองที่เหมาะสมที่สุดและการสอบเทียบเซ็นเซอร์ ในขณะที่ตัวประมาณค่าแบบไม่เอนเอียงที่มีความแปรปรวนต่ำสุด (minimum-variance unbiased estimators) ให้ค่าประมาณมาตรฐานที่ใช้เปรียบเทียบกับขั้นตอนปฏิบัติจริง

History

เครเมอร์ (Cramer) และเรา (Rao) ได้กำหนดขอบเขตความแปรปรวนขึ้นมาโดยอิสระในช่วงปี 1945 ผลลัพธ์การปรับปรุงโดยการกำหนดเงื่อนไขของเรา (Rao) และแบล็กเวลล์ (Blackwell) และทฤษฎีบทความเป็นเอกลักษณ์ของเลห์มันน์ (Lehmann) และเชฟเฟ (Scheffe) ตามมาในช่วงปลายทศวรรษ 1940 และต้นทศวรรษ 1950 ซึ่งเป็นการเติมเต็มทฤษฎีคลาสสิกของการประมาณค่าแบบไม่เอนเอียง

Key figures

• Calyampudi Radhakrishna Rao
• Harald Cramer
• David Blackwell
• Henry Scheffe

Seminal works

• lehmannCasella1998

Frequently asked questions

ขอบเขตเครเมอร์-เรา (Cramer-Rao bound) สามารถทำได้เสมอหรือไม่?

ไม่ สามารถทำได้ในกรณีพิเศษเท่านั้น ส่วนใหญ่เป็นตระกูลเอ็กซ์โพเนนเชียล (exponential families) โดยทั่วไปแล้ว ตัวประมาณค่าแบบไม่เอนเอียงที่มีความแปรปรวนต่ำสุดอาจมีความแปรปรวนสูงกว่าขอบเขตอย่างชัดเจน

ข้อมูลฟิชเชอร์ (Fisher information) วัดอะไร?

มันวัดว่าความเป็นไปได้ (likelihood) ตอบสนองต่อการเปลี่ยนแปลงของพารามิเตอร์อย่างรวดเร็วเพียงใด และด้วยเหตุนี้ข้อมูลจึงมีข้อมูลเกี่ยวกับพารามิเตอร์นั้นมากน้อยเพียงใด ข้อมูลฟิชเชอร์ที่มากขึ้นจะช่วยให้การประมาณค่าแม่นยำยิ่งขึ้น