ไฮเปอร์ไพรเออร์และการหดตัว (Hyperpriors and Shrinkage)

ไฮเปอร์ไพรเออร์ (hyperpriors) คือไพรเออร์ที่กำหนดให้กับพารามิเตอร์ระดับบนสุดของแบบจำลองเชิงลำดับชั้น และควบคุมความเข้มข้นของการหดตัวของการประมาณค่ากลุ่มเข้าหาค่าเฉลี่ยประชากร

Definition

ไฮเปอร์ไพรเออร์ (hyperprior) คือการแจกแจงแบบไพรเออร์บนไฮเปอร์พารามิเตอร์ (hyperparameters) ที่ควบคุมการแจกแจงของพารามิเตอร์ระดับกลุ่ม เมื่อรวมกับข้อมูลแล้ว ไฮเปอร์ไพรเออร์จะกำหนดโพสทีเรียร์สำหรับความแปรปรวนระดับกลุ่ม และด้วยเหตุนี้จึงกำหนดระดับของการหดตัวที่ใช้กับแต่ละกลุ่ม

Scope

หัวข้อนี้ครอบคลุมการกำหนดไพรเออร์สำหรับค่าเฉลี่ยเชิงลำดับชั้นและโดยเฉพาะอย่างยิ่งองค์ประกอบความแปรปรวน วิธีที่ความแปรปรวนระดับกลุ่มควบคุมการหดตัว อันตรายของโพสทีเรียร์ที่เสื่อมสภาพจากการเลือกไพรเออร์ความแปรปรวนที่ไม่เหมาะสม และทางเลือกที่แนะนำของไพรเออร์ที่ให้ข้อมูลอย่างอ่อน (weakly informative priors) เช่น half-Cauchy และ half-normal priors

Core questions

• เหตุใดความแปรปรวนระดับกลุ่มจึงควบคุมปริมาณการหดตัว?
• เกิดอะไรขึ้นเมื่อใช้ไพรเออร์ที่ไม่เหมาะสมสำหรับองค์ประกอบความแปรปรวน?
• ไฮเปอร์ไพรเออร์ที่ให้ข้อมูลอย่างอ่อนใดบ้างที่แนะนำสำหรับพารามิเตอร์มาตราส่วน?
• การหดตัวเกี่ยวข้องกับผลลัพธ์ของ Stein และ empirical Bayes อย่างไร?

Key concepts

• ไฮเปอร์ไพรเออร์ (hyperprior)
• องค์ประกอบความแปรปรวน (variance component)
• ไพรเออร์แบบ half-Cauchy (half-Cauchy prior)
• ไพรเออร์แบบ inverse-gamma (inverse-gamma prior)
• การหดตัว (shrinkage)
• ตัวประมาณค่า James-Stein (James-Stein estimator)
• โพสทีเรียร์ที่เสื่อมสภาพ (degenerate posterior)

Key theories

ไพรเออร์ขององค์ประกอบความแปรปรวน

ไฮเปอร์ไพรเออร์บนส่วนเบี่ยงเบนมาตรฐานระดับกลุ่มมีอิทธิพลอย่างมากต่อการอนุมานเมื่อมีกลุ่มน้อย ไพรเออร์แบบ folded-noncentral และ half-Cauchy ช่วยหลีกเลี่ยงความผิดปกติของไพรเออร์แบบ inverse-gamma ทั่วไป

การหดตัวเพื่อลดความเสี่ยง

การหดตัวของการประมาณค่าที่เกี่ยวข้องหลายรายการเข้าสู่จุดศูนย์กลางร่วมกันจะช่วยลดค่าเฉลี่ยกำลังสองคลาดเคลื่อน (mean squared error) โดยรวม ซึ่งเป็นหลักการเดียวกับที่ทำให้ตัวประมาณค่า James-Stein มีประสิทธิภาพเหนือกว่าค่าเฉลี่ยตัวอย่าง

Clinical relevance

ไฮเปอร์ไพรเออร์ที่เหมาะสมช่วยป้องกันการประมาณค่าความแปรปรวนระหว่างกลุ่มที่มั่นใจเกินไปหรือไม่เสถียรในการวิเคราะห์อภิมาน (meta-analysis) และการศึกษาหลายสถานที่ ซึ่งจำนวนกลุ่มมักมีน้อยและยากต่อการประมาณค่าความแปรปรวน

History

การประมาณค่าแบบหดตัว (shrinkage estimation) พัฒนามาจากการค้นพบของ Stein ในปี 1956 และงานของ Efron และ Morris เกี่ยวกับ empirical Bayes ในทศวรรษ 1970 การวิเคราะห์ไพรเออร์ของพารามิเตอร์ความแปรปรวนของ Gelman ในปี 2006 ได้ชี้แจงว่าการเลือกไฮเปอร์ไพรเออร์มีผลต่อการหดตัวในแบบจำลองเชิงลำดับชั้นแบบเบย์เซียนเต็มรูปแบบอย่างไร

Debates

ควรใช้ไพรเออร์ใดสำหรับความแปรปรวนระดับกลุ่ม?

ไพรเออร์แบบ inverse-gamma ทั่วไปอาจให้ข้อมูลโดยไม่ตั้งใจใกล้ศูนย์ จึงมีการถกเถียงอย่างต่อเนื่องเกี่ยวกับไพรเออร์แบบ half-Cauchy, half-normal และไพรเออร์มาตราส่วนที่ให้ข้อมูลอย่างอ่อนอื่นๆ

Key figures

• Andrew Gelman
• Bradley Efron
• Carl Morris
• Charles Stein

Seminal works

• gelman2006
• efron1975

Frequently asked questions

เหตุใดจึงไม่ใช้ไพรเออร์แบบ flat (flat prior) สำหรับความแปรปรวนระดับกลุ่ม?

ไพรเออร์แบบ flat หรือไพรเออร์แบบ inverse-gamma เริ่มต้นอาจให้น้ำหนักมากเกินไปใกล้ศูนย์หรือไม่เหมาะสม ทำให้เกิดโพสทีเรียร์ที่ยุบตัวหรือไม่เสถียรเมื่อมีกลุ่มน้อย ไพรเออร์มาตราส่วนที่ให้ข้อมูลอย่างอ่อน เช่น half-Cauchy มีพฤติกรรมที่น่าเชื่อถือมากกว่า