การสุ่มตัวอย่างแบบ Importance Sampling

การสุ่มตัวอย่างแบบ Importance sampling ประมาณค่าความคาดหวังภายใต้การแจกแจงเป้าหมายโดยการสุ่มจากชุดการแจกแจงข้อเสนอที่แตกต่างกันและสะดวกกว่า และแก้ไขค่าที่สุ่มแต่ละค่าด้วยน้ำหนักที่เท่ากับอัตราส่วนของความหนาแน่นเป้าหมายต่อความหนาแน่นข้อเสนอ

Definition

การสุ่มตัวอย่างแบบ Importance sampling เป็นเทคนิค Monte Carlo ที่ประมาณค่าความคาดหวังของฟังก์ชันภายใต้ความหนาแน่นเป้าหมายโดยการหาค่าเฉลี่ยของฟังก์ชันคูณด้วยน้ำหนักความสำคัญจากตัวอย่างที่สุ่มจากความหนาแน่นข้อเสนอ

Scope

หัวข้อนี้ครอบคลุมเอกลักษณ์ของการสุ่มตัวอย่างแบบ Importance sampling และตัวประมาณค่าแบบถ่วงน้ำหนักที่ได้ การเลือกข้อเสนอและผลกระทบต่อความแปรปรวนของน้ำหนัก ตัวประมาณค่าแบบปรับค่าเองที่ใช้เมื่อทราบความหนาแน่นเพียงแค่ค่าคงที่ บทบาทการวินิจฉัยของขนาดตัวอย่างที่มีประสิทธิภาพ และพยาธิสภาพของน้ำหนักที่มีหางหนัก มันเชื่อมโยงกับการลดความแปรปรวนและวิธีการแบบอนุภาค

Core questions

• การถ่วงน้ำหนักตัวอย่างจากข้อเสนอสามารถกู้คืนความคาดหวังภายใต้เป้าหมายได้อย่างไร?
• การเลือกข้อเสนอแบบใดที่ลดความแปรปรวนของตัวประมาณค่าแบบ Importance sampling ได้น้อยที่สุด?
• การสุ่มตัวอย่างแบบ Importance sampling ที่ปรับค่าเองใช้เมื่อใดเมื่อมีเพียงความหนาแน่นที่ไม่ได้ปรับค่า?
• ขนาดตัวอย่างที่มีประสิทธิภาพวินิจฉัยความเสื่อมของน้ำหนักได้อย่างไร?

Key concepts

• น้ำหนักความสำคัญ
• การแจกแจงข้อเสนอ
• ตัวประมาณค่าแบบปรับค่าเอง
• ขนาดตัวอย่างที่มีประสิทธิภาพ
• ความเสื่อมของน้ำหนัก

Key theories

เอกลักษณ์ของการสุ่มตัวอย่างแบบ Importance sampling

ความคาดหวังภายใต้เป้าหมายเท่ากับความคาดหวังภายใต้ข้อเสนอของฟังก์ชันคูณด้วยอัตราส่วนความหนาแน่น ดังนั้นค่าเฉลี่ยตัวอย่างแบบถ่วงน้ำหนักจึงประมาณค่าความคาดหวังเป้าหมายโดยไม่มีอคติเมื่อข้อเสนอครอบคลุมส่วนรองรับของเป้าหมาย

ข้อเสนอที่เหมาะสมและความแปรปรวนของน้ำหนัก

ความแปรปรวนของตัวประมาณค่าจะลดลงน้อยที่สุดโดยข้อเสนอที่เป็นสัดส่วนกับปริพันธ์สัมบูรณ์ และในทางปฏิบัติ ข้อเสนอที่ไม่ตรงกันหรือมีหางเบาจะสร้างน้ำหนักที่โดดเด่นไม่กี่ค่าที่เพิ่มความแปรปรวน ซึ่งวัดได้จากขนาดตัวอย่างที่มีประสิทธิภาพต่ำ

Clinical relevance

การสุ่มตัวอย่างแบบ Importance sampling ช่วยให้สามารถประมาณความน่าจะเป็นของเหตุการณ์ที่หายาก ความน่าจะเป็นส่วนเพิ่ม และความคาดหวังภายหลัง ช่วยให้สามารถนำตัวอย่างเดียวกลับมาใช้ใหม่เพื่อประเมินเป้าหมายที่เกี่ยวข้องหลายรายการ และเป็นพื้นฐานของตัวกรอง Monte Carlo แบบลำดับ (อนุภาค) ที่ใช้ในแบบจำลองปริภูมิสถานะและอนุกรมเวลา

History

การสุ่มตัวอย่างแบบ Importance sampling เกิดขึ้นในการปฏิบัติงาน Monte Carlo ในช่วงกลางศตวรรษที่ 20 ในฐานะอุปกรณ์ลดความแปรปรวน และต่อมาได้รับการพัฒนาโดยนักสถิติให้เป็นรูปแบบที่ปรับค่าเองและปรับเปลี่ยนได้ กลายเป็นองค์ประกอบหลักของ Monte Carlo แบบลำดับและการคำนวณแบบเบย์สมัยใหม่

Key figures

• Christian P. Robert
• George Casella
• Geneva Hoeting

Seminal works

• robert2004
• givens2013

Frequently asked questions

เหตุใดจึงใช้การแจกแจงข้อเสนอแทนการสุ่มเป้าหมายโดยตรง?

บ่อยครั้งที่เป้าหมายไม่สามารถสุ่มได้ง่าย หรือต้องการรวมการสุ่มในพื้นที่สำคัญ เช่น หางของเหตุการณ์ที่หายาก การสุ่มตัวอย่างแบบ Importance sampling ช่วยให้คุณสามารถสุ่มการแจกแจงที่สะดวกและแก้ไขความไม่ตรงกันด้วยน้ำหนัก

จะเกิดอะไรขึ้นหากเลือกข้อเสนอไม่ดี?

หากข้อเสนอมีหางที่เบากว่าเป้าหมาย ตัวอย่างไม่กี่ตัวอย่างจะได้รับน้ำหนักมหาศาลและครอบงำการประมาณค่า ทำให้เกิดความแปรปรวนสูงหรือแม้กระทั่งอนันต์ การวินิจฉัยขนาดตัวอย่างที่มีประสิทธิภาพจะบ่งชี้ถึงความเสื่อมนี้