เอมไพริคัลเบย์เป็นแบบเบย์จริงหรือไม่?

เป็นแบบผสมผสาน: ใช้ทฤษฎีบทของเบย์สำหรับพารามิเตอร์ระดับกลุ่ม แต่ประมาณค่าการแจกแจงก่อนหน้าจากข้อมูลแทนที่จะระบุล่วงหน้า ซึ่งเป็นการประมาณแบบจำลองเชิงลำดับชั้นเต็มรูปแบบในขณะที่โดยทั่วไปแล้วจะประเมินความไม่แน่นอนในการแจกแจงก่อนหน้าต่ำเกินไป

ระเบียบวิธีเอมไพริคัลเบย์ (Empirical Bayes Methods)

เอมไพริคัลเบย์ประมาณการการแจกแจงก่อนหน้า (prior distribution) จากข้อมูลโดยตรง ซึ่งให้ประโยชน์ส่วนใหญ่ของแบบจำลองเชิงลำดับชั้น (hierarchical model) โดยมีต้นทุนการคำนวณที่ต่ำกว่า

ค้นหาหัวข้อด้วย PaperMindเร็ว ๆ นี้Find papers & topics

Tools & resources

ดาวน์โหลดสไลด์

Learn & explore

วิดีโอเร็ว ๆ นี้

Definition

เอมไพริคัลเบย์เป็นแนวทางในการอนุมานเชิงลำดับชั้น (hierarchical inference) ซึ่งพารามิเตอร์ของการแจกแจงก่อนหน้า (prior) ถูกประมาณค่าจากข้อมูลที่สังเกตได้ โดยทั่วไปจะทำโดยการหาค่าสูงสุดของความน่าจะเป็นส่วนเพิ่ม (marginal likelihood) และจากนั้นจะถือว่าพารามิเตอร์เหล่านั้นเป็นที่ทราบแล้วเมื่อคำนวณค่าหลัง (posteriors) สำหรับปริมาณระดับกลุ่ม

Scope

หัวข้อนี้ครอบคลุมเอมไพริคัลเบย์ทั้งแบบพารามิเตอร์และไม่ใช้พารามิเตอร์ การประมาณค่าไฮเปอร์พารามิเตอร์ (hyperparameters) ด้วยวิธีความน่าจะเป็นสูงสุดส่วนเพิ่ม (marginal maximum likelihood) หรือวิธีโมเมนต์ (method of moments) ความเชื่อมโยงกับการหดตัวแบบเจมส์-สไตน์ (James-Stein shrinkage) และข้อควรระวังที่ว่าเอมไพริคัลเบย์อาจประเมินความไม่แน่นอนต่ำเกินไปโดยละเลยข้อผิดพลาดในการประมาณค่าก่อนหน้า

Core questions

ไฮเปอร์พารามิเตอร์ถูกประมาณค่าจากการแจกแจงส่วนเพิ่มของข้อมูลได้อย่างไร?
เอมไพริคัลเบย์มีความสัมพันธ์กับแบบจำลองเชิงลำดับชั้นแบบเบย์เต็มรูปแบบอย่างไร?
เหตุใดจึงเชื่อมโยงกับตัวประมาณค่าการหดตัวแบบเจมส์-สไตน์ (James-Stein shrinkage estimators)?
เอมไพริคัลเบย์สามารถประเมินความไม่แน่นอนต่ำเกินไปได้อย่างไร?

Key concepts

เอมไพริคัลเบย์
ความน่าจะเป็นสูงสุดส่วนเพิ่ม
การประมาณค่าไฮเปอร์พารามิเตอร์
ตัวประมาณค่าเจมส์-สไตน์
การหดตัว
อัตราการค้นพบที่ผิดพลาด
การประเมินความไม่แน่นอนต่ำเกินไป

Key theories

การประมาณค่าการแจกแจงก่อนหน้าจากข้อมูล: ด้วยการปรับไฮเปอร์พารามิเตอร์ของการแจกแจงก่อนหน้าให้เข้ากับการแจกแจงส่วนเพิ่มของข้อมูลทั้งหมด เอมไพริคัลเบย์จะเรียนรู้ว่าจะรวมข้อมูลมากน้อยเพียงใดโดยไม่ต้องระบุไฮเปอร์ไพรเออร์ (hyperprior) ซึ่งเป็นการประมาณค่าหลังเชิงลำดับชั้นเต็มรูปแบบ
ความเชื่อมโยงกับการหดตัวแบบสไตน์: ตัวประมาณค่าเจมส์-สไตน์สามารถอนุมานได้ว่าเป็นกฎเอมไพริคัลเบย์แบบพารามิเตอร์ ซึ่งแสดงให้เห็นอย่างชัดเจนว่าการแจกแจงก่อนหน้าที่ประมาณจากข้อมูลจะสร้างการหดตัวที่ช่วยลดข้อผิดพลาดโดยรวม

Clinical relevance

เอมไพริคัลเบย์เป็นพื้นฐานของการอนุมานขนาดใหญ่ในสาขาจีโนมิกส์และการสร้างภาพ ซึ่งมีการประมาณค่าผลกระทบหลายพันรายการพร้อมกัน และการแจกแจงก่อนหน้า (priors) ที่ขับเคลื่อนด้วยข้อมูลช่วยให้การประมาณค่ามีเสถียรภาพและควบคุมการค้นพบที่ผิดพลาด (false discoveries)

History

ร็อบบินส์ (Robbins) ได้นำเสนอเอมไพริคัลเบย์ในปี 1956; เอฟรอน (Efron) และ มอร์ริส (Morris) ได้เชื่อมโยงกับสไตน์ชริงค์เกจ (Stein shrinkage) ในทศวรรษ 1970 การเพิ่มขึ้นของข้อมูลปริมาณมาก (high-throughput data) ทำให้เอมไพริคัลเบย์มีความสำคัญต่อการอนุมานพร้อมกันขนาดใหญ่ ดังที่พัฒนาในเอกสารวิชาการของเอฟรอนในปี 2010

Debates

การละเลยความไม่แน่นอนในการประมาณค่าการแจกแจงก่อนหน้า: เนื่องจากเอมไพริคัลเบย์ใช้การประมาณค่าจุดของไฮเปอร์พารามิเตอร์ จึงอาจสร้างช่วงความเชื่อมั่นที่สูงเกินไปเมื่อเทียบกับการวิเคราะห์แบบเบย์เต็มรูปแบบที่เผยแพร่ความไม่แน่นอนนั้น

Key figures

Herbert Robbins
Bradley Efron
Carl Morris

Seminal works

robbins1956
efron2010

Frequently asked questions

เอมไพริคัลเบย์เป็นแบบเบย์จริงหรือไม่?: เป็นแบบผสมผสาน: ใช้ทฤษฎีบทของเบย์สำหรับพารามิเตอร์ระดับกลุ่ม แต่ประมาณค่าการแจกแจงก่อนหน้าจากข้อมูลแทนที่จะระบุล่วงหน้า ซึ่งเป็นการประมาณแบบจำลองเชิงลำดับชั้นเต็มรูปแบบในขณะที่โดยทั่วไปแล้วจะประเมินความไม่แน่นอนในการแจกแจงก่อนหน้าต่ำเกินไป