ทฤษฎีบทของเบย์และโพสทีเรียร์

ทฤษฎีบทของเบย์แสดงการแจกแจงโพสทีเรียร์ของพารามิเตอร์ที่ไม่ทราบค่าเป็นสัดส่วนกับความน่าจะเป็นของข้อมูลคูณด้วยไพรเออร์ ซึ่งเป็นกลไกสำคัญของการอนุมานแบบเบย์ทั้งหมด

Definition

ทฤษฎีบทของเบย์ระบุว่าความหนาแน่นโพสทีเรียร์ p(theta | y) เท่ากับความน่าจะเป็น p(y | theta) คูณด้วยไพรเออร์ p(theta) หารด้วยความน่าจะเป็นส่วนเพิ่ม p(y); เนื่องจาก p(y) ไม่ขึ้นอยู่กับ theta โพสทีเรียร์จึงมักถูกเขียนเป็นสัดส่วนกับความน่าจะเป็นคูณด้วยไพรเออร์

Scope

หัวข้อนี้ครอบคลุมถึงการกล่าวถึงและการได้มาซึ่งทฤษฎีบทของเบย์สำหรับการอนุมาน รูปแบบสัดส่วน ความน่าจะเป็นส่วนเพิ่มที่ทำให้โพสทีเรียร์เป็นมาตรฐาน และวิธีการได้มาซึ่งสรุปต่างๆ เช่น ค่าเฉลี่ยโพสทีเรียร์ ช่วงความเชื่อถือได้ และการแจกแจงพยากรณ์โพสทีเรียร์

Core questions

• การแจกแจงโพสทีเรียร์ได้มาจากไพรเออร์และความน่าจะเป็นได้อย่างไร?
• ความน่าจะเป็นส่วนเพิ่มคืออะไร และเหตุใดจึงทำหน้าที่เป็นค่าคงที่มาตรฐาน?
• การประมาณค่าจุดและช่วงความเชื่อถือได้ถูกดึงมาจากโพสทีเรียร์ได้อย่างไร?
• การแจกแจงพยากรณ์โพสทีเรียร์คืออะไร และคำนวณได้อย่างไร?

Key concepts

• ไพรเออร์
• ความน่าจะเป็น
• โพสทีเรียร์
• ความน่าจะเป็นส่วนเพิ่ม
• ช่วงความเชื่อถือได้
• การแจกแจงพยากรณ์โพสทีเรียร์
• ค่าคงที่มาตรฐาน

Key theories

สัดส่วนโพสทีเรียร์

เนื่องจากความน่าจะเป็นส่วนเพิ่มเป็นค่าคงที่ในพารามิเตอร์ การอนุมานจึงขึ้นอยู่กับผลคูณของความน่าจะเป็นและไพรเออร์เท่านั้นจนถึงการทำให้เป็นมาตรฐาน ซึ่งเป็นรูปแบบที่วิธีการคำนวณส่วนใหญ่ใช้ประโยชน์

การแจกแจงพยากรณ์โพสทีเรียร์

ข้อมูลในอนาคตหรือข้อมูลที่ทำซ้ำจะถูกพยากรณ์โดยการหาค่าเฉลี่ยการแจกแจงตัวอย่างเหนือโพสทีเรียร์ โดยรวมความไม่แน่นอนของพารามิเตอร์ออกไป แทนที่จะใช้การประมาณค่าจุด

Clinical relevance

การอนุมานโพสทีเรียร์ถูกนำมาใช้ในทุกที่ที่ต้องมีการประมาณค่าปริมาณที่สนใจพร้อมกับความไม่แน่นอนที่ปรับเทียบได้ ซึ่งรวมถึงการตีความผลการทดสอบวินิจฉัย การประมาณค่าพารามิเตอร์ในสาขาวิทยาศาสตร์กายภาพ และการพยากรณ์เชิงความน่าจะเป็น

History

กฎนี้มีต้นกำเนิดมาจากบทความของเบย์ในปี 1763 และได้รับการขยายความโดยลาปลาซให้เป็นวิธีการของความน่าจะเป็นผกผัน การเน้นที่การแจกแจงโพสทีเรียร์ทั้งหมดในปัจจุบัน แทนที่จะเป็นการประมาณค่าความน่าจะเป็นผกผันเพียงค่าเดียว ได้รับการรวบรวมในวรรณกรรมเบย์ในศตวรรษที่ 20

Key figures

• Thomas Bayes
• Pierre-Simon Laplace
• Harold Jeffreys

Seminal works

• gelman2013
• bayes1763

Frequently asked questions

ช่วงความเชื่อถือได้คืออะไร?

ช่วงความเชื่อถือได้คือช่วงที่ประกอบด้วยพารามิเตอร์ที่มีความน่าจะเป็นโพสทีเรียร์ที่ระบุ (เช่น 95%); ซึ่งแตกต่างจากช่วงความเชื่อมั่นแบบความถี่นิยมตรงที่เป็นการระบุความน่าจะเป็นโดยตรงเกี่ยวกับพารามิเตอร์ที่กำหนดข้อมูลและไพรเออร์

เหตุใดจึงสามารถเขียนโพสทีเรียร์ได้โดยไม่ต้องคำนวณความน่าจะเป็นส่วนเพิ่ม?

ความน่าจะเป็นส่วนเพิ่มเป็นค่าคงที่เมื่อเทียบกับพารามิเตอร์ ดังนั้นจึงเพียงแค่ปรับขนาดโพสทีเรียร์เท่านั้น; อัลกอริทึมหลายอย่าง เช่น MCMC ต้องการโพสทีเรียร์เพียงแค่ค่าคงที่นี้