การประมาณค่าแบบเบย์และการประมาณค่าแบบชริงค์เกจ

ตัวประมาณค่าแบบเบย์ (Bayes estimators) ผสมผสานความเชื่อก่อนหน้าเข้ากับข้อมูลเพื่อลดความเสี่ยงเฉลี่ยให้เหลือน้อยที่สุด และตัวประมาณค่าแบบชริงค์เกจ (shrinkage estimators) ใช้ประโยชน์จากข้อเท็จจริงที่น่าประหลาดใจที่ว่าการดึงค่าประมาณเข้าหาจุดศูนย์กลางสามารถมีประสิทธิภาพเหนือกว่าตัวประมาณค่าที่ชัดเจน

Definition

ตัวประมาณค่าแบบเบย์จะลดความเสียหายที่คาดหวังโดยเฉลี่ยจากการแจกแจงแบบก่อนหน้าของพารามิเตอร์ให้เหลือน้อยที่สุด; ตัวประมาณค่าแบบชริงค์เกจจะจงใจทำให้ค่าประมาณเอนเอียงไปทางจุดคงที่หรือค่าเฉลี่ยร่วมเพื่อลดค่าความคลาดเคลื่อนกำลังสองเฉลี่ยโดยรวม

Scope

หัวข้อนี้ครอบคลุมการแจกแจงแบบก่อนหน้า (prior distributions) และแบบภายหลัง (posterior), ตัวประมาณค่าแบบเบย์ในฐานะค่าเฉลี่ยภายหลังภายใต้ฟังก์ชันความเสียหายกำลังสอง (squared-error loss) และฟังก์ชันความเสียหายอื่น ๆ, ความสัมพันธ์ระหว่างความเสี่ยงแบบเบย์ (Bayes risk) และความเสี่ยงแบบความถี่นิยม (frequentist risk), ตัวประมาณค่าเจมส์-สไตน์ (James-Stein estimator) และความขัดแย้งของสไตน์ (Stein's paradox) เรื่องความไม่สามารถยอมรับได้ (inadmissibility) ในสามมิติขึ้นไป, การประมาณค่าแบบเบย์เชิงประจักษ์ (empirical Bayes) และการหดตัวแบบลำดับชั้น (hierarchical shrinkage), และการแลกเปลี่ยนระหว่างความเอนเอียงกับความแปรปรวน (bias-variance trade-off) ที่ทำให้การหดตัวมีข้อได้เปรียบ

Core questions

• ตัวประมาณค่าแบบเบย์ได้มาจากการแจกแจงแบบภายหลังภายใต้ฟังก์ชันความเสียหายที่กำหนดได้อย่างไร?
• เหตุใดตัวประมาณค่าเจมส์-สไตน์จึงมีประสิทธิภาพเหนือกว่าค่าเฉลี่ยตัวอย่างในสามมิติขึ้นไป?
• เบย์เชิงประจักษ์ใช้ประโยชน์จากข้อมูลร่วมกันในปัญหาการประมาณค่าที่เกี่ยวข้องได้อย่างไร?
• ความเอนเอียงที่เกิดจากการหดตัวจะให้ผลตอบแทนในการลดความเสี่ยงเมื่อใด?

Key theories

ตัวประมาณค่าแบบเบย์และความคาดหวังภายหลัง

ภายใต้ฟังก์ชันความเสียหายกำลังสอง ตัวประมาณค่าแบบเบย์คือค่าเฉลี่ยภายหลัง; สำหรับความเสียหายอื่น ๆ จะเป็นสรุปภายหลังที่สอดคล้องกัน และจะลดความเสี่ยงแบบเบย์ที่เฉลี่ยจากการแจกแจงแบบก่อนหน้าให้เหลือน้อยที่สุด

ความขัดแย้งของสไตน์และตัวประมาณค่าเจมส์-สไตน์

เมื่อประมาณค่าเฉลี่ยสามค่าขึ้นไปพร้อมกัน ค่าเฉลี่ยตัวอย่างจะไม่สามารถยอมรับได้ภายใต้ฟังก์ชันความเสียหายกำลังสอง และตัวประมาณค่าเจมส์-สไตน์ที่หดตัวเข้าหาจุดร่วมมีความเสี่ยงที่น้อยกว่าอย่างสม่ำเสมอ

Clinical relevance

ตัวประมาณค่าแบบชริงค์เกจและแบบเบย์เชิงประจักษ์ช่วยเพิ่มความแม่นยำเมื่อมีการประมาณค่าปริมาณที่เกี่ยวข้องหลายอย่างพร้อมกัน เช่น ในการประมาณค่าพื้นที่ขนาดเล็ก, การจัดอันดับกีฬาและการศึกษา, จีโนมิกส์, และการถดถอยแบบริดจ์ (ridge) และแบบปรับปรุง (regularized regression) ซึ่งการรวมข้อมูลจากหลายหน่วยมีประสิทธิภาพดีกว่าการพิจารณาแต่ละหน่วยแยกกัน

History

สไตน์แสดงให้เห็นในปี 1956 ว่าตัวประมาณค่าปกติของค่าเฉลี่ยปกติหลายตัวแปรนั้นไม่สามารถยอมรับได้ในสามมิติขึ้นไป และเจมส์กับสไตน์ได้แสดงตัวประมาณค่าที่มีประสิทธิภาพเหนือกว่าในปี 1961 อีฟรอนและมอร์ริสได้ปรับกรอบผลลัพธ์ผ่านเบย์เชิงประจักษ์ในทศวรรษ 1970 ทำให้การหดตัวเป็นเครื่องมือที่ใช้งานได้จริง

Key figures

• Charles Stein
• Willard James
• Bradley Efron
• James O. Berger

Seminal works

• berger1985

Frequently asked questions

เหตุใดจึงควรเลือกใช้ตัวประมาณค่าที่มีความเอนเอียง?

เนื่องจากค่าความคลาดเคลื่อนกำลังสองเฉลี่ยเป็นการรวมกันของความเอนเอียงและความแปรปรวน; ความเอนเอียงเล็กน้อยที่ทำให้ความแปรปรวนลดลงอย่างมากสามารถลดความคลาดเคลื่อนทั้งหมดได้ ซึ่งเป็นสิ่งที่ตัวประมาณค่าแบบชริงค์เกจใช้ประโยชน์

ความขัดแย้งของสไตน์เป็นความขัดแย้งจริงหรือไม่?

เป็นเรื่องที่น่าประหลาดใจมากกว่าที่จะขัดแย้งกันเอง: มันแสดงให้เห็นว่าการประมาณค่าเฉลี่ยหลายค่าที่ไม่เกี่ยวข้องกันจะดีขึ้นได้ด้วยการหดตัวร่วมกัน เพราะความเสี่ยงรวม ไม่ใช่แต่ละค่าประมาณแยกกัน คือสิ่งที่ลดลง