การหาปริพันธ์เชิงตัวเลขในสถิติ

การหาปริพันธ์เชิงตัวเลขในสถิติเป็นการประเมินปริพันธ์ที่กำหนดความน่าจะเป็นรอบนอก (marginal likelihoods), ค่าคาดหวังภายหลัง (posterior expectations) และค่าคงที่นอร์มัลไลซ์ (normalizing constants) เมื่อปริพันธ์เหล่านั้นไม่มีรูปแบบปิด (closed form)

Definition

การหาปริพันธ์เชิงตัวเลขในสถิติคือการใช้กฎการหาปริพันธ์เชิงตัวเลขแบบดีเทอร์มินิสติก (deterministic quadrature rules) และการประมาณค่าเชิงวิเคราะห์ (analytic approximations) เพื่อประเมินปริพันธ์ที่เกิดขึ้นในการอนุมานแบบอิงความน่าจะเป็น (likelihood-based) และแบบเบย์ (Bayesian inference) โดยเฉพาะอย่างยิ่งความน่าจะเป็นรอบนอก (marginal likelihoods) และโมเมนต์ภายหลัง (posterior moments)

Scope

หัวข้อนี้ครอบคลุมการหาปริพันธ์เชิงตัวเลขแบบดีเทอร์มินิสติก (deterministic quadrature) ที่ปรับให้เข้ากับฟังก์ชันที่ต้องการหาปริพันธ์ทางสถิติ (statistical integrands) รวมถึงกฎของเกาส์-เฮอร์ไมต์ (Gauss-Hermite rules) สำหรับการหาปริพันธ์ของผลกระทบสุ่มแบบปกติ (normal random effects), การหาปริพันธ์แบบปรับตัว (adaptive quadrature) และการประมาณค่าแบบลาปลาซ (Laplace approximation) สำหรับปริพันธ์ที่มีจุดสูงสุดที่ชัดเจนเป็นหลัก โดยจะเสริมการหาปริพันธ์แบบมอนติคาร์โล (Monte Carlo integration) ซึ่งกล่าวถึงในวิธีการมอนติคาร์โล โดยเน้นที่แผนการเชิงดีเทอร์มินิสติกที่มีมิติต่ำ

Core questions

• จะรวมผลกระทบสุ่มออกจากความน่าจะเป็นโดยใช้การหาปริพันธ์แบบเกาส์ (Gaussian quadrature) ได้อย่างไร?
• เมื่อใดที่การหาปริพันธ์แบบปรับตัว (adaptive quadrature) มีประสิทธิภาพเหนือกว่ากฎที่กำหนดไว้สำหรับการหาปริพันธ์ทางสถิติ?
• การประมาณค่าแบบลาปลาซ (Laplace approximation) ใช้ประโยชน์จากฟังก์ชันที่ต้องการหาปริพันธ์ที่มีจุดสูงสุดที่ชัดเจนได้อย่างไร?
• เมื่อใดที่วิธีการหาปริพันธ์เชิงตัวเลขแบบดีเทอร์มินิสติก (deterministic quadrature methods) เป็นที่ต้องการมากกว่าการหาปริพันธ์แบบมอนติคาร์โล (Monte Carlo integration)?

Key concepts

• การหาปริพันธ์แบบเกาส์-เฮอร์ไมต์ (Gauss-Hermite quadrature)
• การหาปริพันธ์แบบปรับตัว (Adaptive quadrature)
• การประมาณค่าแบบลาปลาซ (Laplace approximation)
• ความน่าจะเป็นรอบนอก (Marginal likelihood)
• ค่าคงที่นอร์มัลไลซ์ (Normalizing constant)

Key theories

การหาปริพันธ์แบบเกาส์-เฮอร์ไมต์สำหรับผลกระทบสุ่ม

ปริพันธ์ที่เทียบกับความหนาแน่นปกติ เช่น การหาค่าเฉลี่ยของผลกระทบสุ่มในแบบจำลองผสม จะถูกประเมินอย่างมีประสิทธิภาพด้วยกฎของเกาส์-เฮอร์ไมต์ โดยมีเวอร์ชันปรับตัวที่จัดตำแหน่งโหนดใกล้กับโหมดของฟังก์ชันที่ต้องการหาปริพันธ์

การประมาณค่าแบบลาปลาซ

การประมาณค่าฟังก์ชันที่ต้องการหาปริพันธ์ที่มีจุดสูงสุดที่ชัดเจนด้วยฟังก์ชันเกาส์เซียนรอบโหมดของมัน จะให้ค่าประมาณของปริพันธ์ในรูปแบบปิดที่แม่นยำเมื่อจุดสูงสุดนั้นเด่นชัด และเป็นพื้นฐานสำหรับการอนุมานโดยประมาณที่รวดเร็วสำหรับแบบจำลองลำดับชั้นหลายแบบ

Clinical relevance

การปรับแบบจำลองเชิงเส้นทั่วไปแบบผสม (generalized linear mixed models), การคำนวณปัจจัยเบย์ (Bayes factors) และการสรุปผลภายหลัง (posterior summaries) ล้วนต้องอาศัยการประเมินปริพันธ์ที่ไม่สามารถหาค่าได้โดยตรง; การหาปริพันธ์เชิงตัวเลขแบบดีเทอร์มินิสติกและการประมาณค่าแบบลาปลาซเป็นทางเลือกที่รวดเร็วและแม่นยำกว่าการจำลองสำหรับการหาปริพันธ์ที่มีมิติต่ำ

History

วิธีการหาปริพันธ์เชิงตัวเลขแบบคลาสสิก (classical quadrature) และวิธีการประมาณค่าปริพันธ์ของลาปลาซ (Laplace's method) ได้รับการปรับใช้โดยนักสถิติสำหรับการคำนวณความน่าจะเป็นและแบบเบย์ โดยการหาปริพันธ์เชิงตัวเลขแบบเกาส์-เฮอร์ไมต์แบบปรับตัว (adaptive Gauss-Hermite quadrature) และการประมาณค่าแบบลาปลาซได้กลายเป็นเครื่องมือมาตรฐานสำหรับแบบจำลองผสมและแบบจำลองลำดับชั้น

Key figures

• John Monahan
• Kenneth Lange
• Pierre-Simon Laplace

Seminal works

• monahan2011
• lange2010

Frequently asked questions

ฉันควรใช้การหาปริพันธ์เชิงตัวเลข (quadrature) แทนการใช้มอนติคาร์โล (Monte Carlo) สำหรับปริพันธ์ทางสถิติเมื่อใด?

สำหรับปริพันธ์ที่มีมิติต่ำและฟังก์ชันที่ต้องการหาปริพันธ์ที่ราบเรียบ การหาปริพันธ์เชิงตัวเลขแบบดีเทอร์มินิสติกจะลู่เข้าเร็วกว่ามากและให้คำตอบที่เป็นดีเทอร์มินิสติก วิธีมอนติคาร์โลจะดีกว่าเมื่อมิติเพิ่มขึ้น ซึ่งตารางการหาปริพันธ์เชิงตัวเลขจะใช้งานไม่ได้จริง

การประมาณค่าแบบลาปลาซ (Laplace approximation) มีประโยชน์อย่างไร?

มันให้การประมาณค่าในรูปแบบปิดที่รวดเร็วสำหรับปริพันธ์ที่มีจุดสูงสุดที่ชัดเจนเพียงจุดเดียว เช่น ความน่าจะเป็นรอบนอกในแบบจำลองที่ระบุได้ดี มันมีความแม่นยำเมื่อฟังก์ชันที่ต้องการหาปริพันธ์มีลักษณะใกล้เคียงกับเกาส์เซียนใกล้กับโหมดของมัน