Proses Dirichlet dan Model Campuran

Proses Dirichlet adalah prior atas distribusi yang diskritnya menjadikannya dasar alami untuk model campuran yang menyimpulkan jumlah klaster dari data.

Definition

Proses Dirichlet adalah proses stokastik yang realisasinya adalah ukuran probabilitas; model campuran proses Dirichlet mengkonvolusi ukuran acak diskrit ini dengan kernel, menghasilkan campuran dengan jumlah komponen acak yang ditentukan data.

Scope

Topik ini mencakup proses Dirichlet dan parameter konsentrasi serta ukuran dasarnya, representasi Polya urn dan proses restoran Cina, pengelompokan yang diinduksi olehnya, dan model campuran proses Dirichlet yang digunakan untuk estimasi densitas dan pengelompokan dengan jumlah komponen yang tidak terbatas.

Core questions

• Apa parameter konsentrasi dan ukuran dasar dari proses Dirichlet?
• Bagaimana Polya urn dan proses restoran Cina menggambarkan pengelompokannya?
• Bagaimana campuran proses Dirichlet menyimpulkan jumlah klaster?
• Bagaimana inferensi posterior untuk model-model ini dilakukan?

Key concepts

• Proses Dirichlet
• parameter konsentrasi
• ukuran dasar
• proses restoran Cina
• skema Polya urn
• model campuran tak terbatas
• pengelompokan

Key theories

Proses Dirichlet

Ferguson mendefinisikan proses Dirichlet sehingga nilai-nilainya pada partisi hingga apa pun terdistribusi Dirichlet, memberikan prior konjugat yang hampir pasti diskrit atas distribusi.

Campuran proses Dirichlet

Mencampur kernel kontinu di atas ukuran yang terdistribusi proses Dirichlet menghasilkan estimasi densitas yang fleksibel dan pengelompokan dengan jumlah komponen yang tidak terbatas, dengan inferensi melalui Gibbs sampling.

Clinical relevance

Campuran proses Dirichlet melakukan pengelompokan berbasis model dan estimasi densitas tanpa menetapkan jumlah kelompok, yang sangat berharga dalam genomik, subtipe populasi, dan pengaturan lain di mana jumlah klaster tidak diketahui.

History

Ferguson mendefinisikan proses Dirichlet pada tahun 1973 dan Antoniak memperkenalkan campuran proses Dirichlet pada tahun 1974. Pendekatan Gibbs-sampling Escobar dan West pada tahun 1995 menjadikan campuran proses Dirichlet sebagai alat praktis untuk estimasi densitas dan pengelompokan.

Debates

Sensitivitas terhadap parameter konsentrasi

Jumlah klaster yang disimpulkan bergantung pada parameter konsentrasi dan ukuran dasar, sehingga pilihan prior secara material memengaruhi kesimpulan pengelompokan dan harus ditangani dengan hati-hati.

Key figures

• Thomas Ferguson
• Charles Antoniak
• Michael Escobar
• Mike West

Seminal works

• ferguson1973
• escobar1995

Frequently asked questions

Bagaimana campuran proses Dirichlet memutuskan berapa banyak klaster yang ada?

Ini tidak menetapkan jumlah klaster; proses Dirichlet memungkinkan jumlah yang sewenang-wenang, dan posterior, yang didorong oleh data dan parameter konsentrasi, menempatkan probabilitas pada jumlah klaster yang berbeda yang ditempati.