เบย์เซียนนอนพาราเมตริกส์

เบย์เซียนนอนพาราเมตริกส์ (Bayesian nonparametrics) กำหนดไพรเออร์ (priors) บนวัตถุที่มีมิติอนันต์ เช่น การแจกแจงและฟังก์ชัน ทำให้ความซับซ้อนของแบบจำลองสามารถเพิ่มขึ้นตามข้อมูลได้ แทนที่จะถูกกำหนดไว้ล่วงหน้า

Definition

เบย์เซียนนอนพาราเมตริกส์เป็นสาขาหนึ่งของสถิติเบย์เซียนที่ใช้การแจกแจงไพรเออร์เหนือปริภูมิพารามิเตอร์ที่มีมิติอนันต์ เพื่อให้จำนวนพารามิเตอร์ที่มีประสิทธิภาพสามารถปรับให้เข้ากับข้อมูลได้ แทนที่จะถูกกำหนดโดยนักวิเคราะห์

Scope

สาขานี้ครอบคลุมไพรเออร์เหนือการวัดความน่าจะเป็นและฟังก์ชัน: กระบวนการดีริชเลต์ (Dirichlet process) และการนำไปใช้ในแบบจำลองผสมสำหรับการประมาณความหนาแน่นและการจัดกลุ่ม, กระบวนการเกาส์เซียน (Gaussian processes) สำหรับการถดถอยที่ยืดหยุ่น, และการสร้างแบบ stick-breaking และ random-measure ที่สร้างไพรเออร์เหล่านี้ พร้อมกับผลลัพธ์ความสอดคล้องของโพสทีเรียร์ (posterior consistency results)

Sub-topics

• Dirichlet Process and Mixture Models
• Gaussian Process Models
• Stick-Breaking and Random Measures

Core questions

• จะกำหนดไพรเออร์เหนือปริภูมิที่มีมิติอนันต์ เช่น เซตของการแจกแจงได้อย่างไร?
• กระบวนการดีริชเลต์สนับสนุนการประมาณความหนาแน่นและการจัดกลุ่มที่มีจำนวนองค์ประกอบที่ไม่ทราบได้อย่างไร?
• กระบวนการเกาส์เซียนกำหนดไพรเออร์เหนือฟังก์ชันสำหรับการถดถอยที่ยืดหยุ่นได้อย่างไร?
• เมื่อใดที่โพสทีเรียร์จะรวมเข้าสู่ความจริงเมื่อข้อมูลสะสมเพิ่มขึ้น?

Key concepts

• กระบวนการดีริชเลต์
• กระบวนการเกาส์เซียน
• การสร้างแบบ stick-breaking
• การวัดแบบสุ่ม
• แบบจำลองผสมอนันต์
• ความสอดคล้องของโพสทีเรียร์
• ไพรเออร์แบบนอนพาราเมตริก

Key theories

ไพรเออร์กระบวนการดีริชเลต์

กระบวนการดีริชเลต์ของเฟอร์กูสันเป็นการแจกแจงเหนือการวัดความน่าจะเป็นที่เป็นคอนจูเกตสำหรับการสุ่มตัวอย่าง ซึ่งเป็นไพรเออร์แบบนอนพาราเมตริกพื้นฐานสำหรับการแจกแจงที่ไม่ทราบ

ความสอดคล้องและอัตราของโพสทีเรียร์

ขั้นตอนวิธีเบย์เซียนนอนพาราเมตริกส์สามารถแสดงให้เห็นได้ภายใต้เงื่อนไขบางประการ ว่าจะรวมตัวกันรอบการแจกแจงหรือฟังก์ชันที่แท้จริงด้วยอัตราที่ใกล้เคียงที่สุด ซึ่งให้เหตุผลแบบความถี่นิยมสำหรับไพรเออร์

Clinical relevance

แบบจำลองเบย์เซียนนอนพาราเมตริกส์สนับสนุนการประมาณความหนาแน่นที่ยืดหยุ่น การจัดกลุ่มที่มีจำนวนกลุ่มไม่ทราบ และการถดถอยแบบไม่เชิงเส้นในสาขาจีโนมิกส์ การเรียนรู้ของเครื่อง และสถิติเชิงพื้นที่ ซึ่งรูปแบบพาราเมตริกที่เข้มงวดอาจจำกัดเกินไป

History

เฟอร์กูสัน (Ferguson) ได้นำเสนอกระบวนการดีริชเลต์ในปี 1973 และการนำเสนอแบบ stick-breaking ของเซธูรามัน (Sethuraman) ในปี 1994 ทำให้สามารถคำนวณได้ วิธีการกระบวนการเกาส์เซียนและทฤษฎีที่สมบูรณ์ของความสอดคล้องของโพสทีเรียร์และอัตราการหดตัว ซึ่งสังเคราะห์โดยโกซาล (Ghosal) และฟาน เดอร์ ฟาร์ท (van der Vaart) ในปี 2017 ได้ทำให้เบย์เซียนนอนพาราเมตริกส์เป็นสาขาที่สมบูรณ์

Debates

อิทธิพลของไพรเออร์ในมิติอนันต์

ในแบบจำลองนอนพาราเมตริกส์ ไพรเออร์จะไม่มีวันถูกล้างออกไปอย่างสมบูรณ์ ดังนั้นสมมติฐานความเข้มข้นและความเรียบเนียนของไพรเออร์จึงสามารถส่งผลกระทบอย่างมากต่อการอนุมาน ทำให้เกิดคำถามเกี่ยวกับความแข็งแกร่งและการสอบเทียบ

Key figures

• Thomas Ferguson
• David Blackwell
• Jayaram Sethuraman
• Michael Jordan
• Aad van der Vaart

Seminal works

• ferguson1973
• ghosal2017

Frequently asked questions

คำว่า 'นอนพาราเมตริก' หมายความว่าไม่มีพารามิเตอร์ใช่หรือไม่?

ไม่ใช่. หมายความว่าแบบจำลองมีพารามิเตอร์จำนวนอนันต์ หรือเทียบเท่ากับพารามิเตอร์ที่เป็นฟังก์ชันหรือการแจกแจงทั้งหมด เพื่อให้ความซับซ้อนของแบบจำลองสามารถเพิ่มขึ้นตามข้อมูลได้ แทนที่จะถูกกำหนดไว้ล่วงหน้า