مدل‌های متغیر پنهان و آمیخته

مدل‌های متغیر پنهان و آمیخته، داده‌های مشاهده‌شده را از طریق متغیرهای پنهان توضیح می‌دهند و با استنتاج متناوب ساختار پنهان و به‌روزرسانی پارامترها، آن‌ها را برازش می‌کنند.

Definition

یک مدل متغیر پنهان، هر مشاهده را به کمک متغیرهای مشاهده‌نشده، مانند اینکه کدام مؤلفه آمیخته یک نقطه را تولید کرده است، تولید شده نشان می‌دهد؛ الگوریتم امید ریاضی-بیشینه‌سازی پارامترها را با تکرار بین محاسبه مقادیر مورد انتظار متغیرهای پنهان و بیشینه‌سازی درست‌نمایی مورد انتظار حاصل، تخمین می‌زند.

Scope

این موضوع مدل‌های احتمالی با متغیرهای مشاهده‌نشده را پوشش می‌دهد: مدل‌های آمیخته متناهی مانند آمیخته گوسی، مدل‌های پنهان مارکوف برای توالی‌ها، و الگوریتم امید ریاضی-بیشینه‌سازی (EM) که آن‌ها را با بیشینه‌سازی درست‌نمایی برازش می‌کند. همچنین ارتباط با خوشه‌بندی نرم، تخمین چگالی، و دیدگاه واریانس EM به عنوان محدودکننده درست‌نمایی داده‌ها را نیز شامل می‌شود.

Core questions

• چگونه متغیرهای پنهان داده‌های مشاهده‌شده را توضیح می‌دهند؟
• چگونه الگوریتم امید ریاضی-بیشینه‌سازی درست‌نمایی را در هر مرحله افزایش می‌دهد؟
• چگونه آمیخته‌های گوسی خوشه‌بندی نرم و تخمین چگالی را انجام می‌دهند؟
• چرا ممکن است EM تنها به یک بهینه محلی همگرا شود؟

Key theories

الگوریتم امید ریاضی-بیشینه‌سازی

EM یک گام امید ریاضی را که توزیع را بر روی متغیرهای پنهان استنتاج می‌کند، با یک گام بیشینه‌سازی که پارامترها را به‌روزرسانی می‌کند، متناوباً انجام می‌دهد، که به طور اثبات‌شده هرگز درست‌نمایی داده‌ها را کاهش نمی‌دهد و به یک نقطه ثابت همگرا می‌شود.

مدل‌های آمیخته گوسی

مدل‌سازی داده‌ها به عنوان مجموع وزنی از مؤلفه‌های گوسی، تخمین‌های چگالی انعطاف‌پذیر و انتساب‌های خوشه‌ای نرم را به دست می‌دهد، به طوری که به هر نقطه احتمال تعلق به هر مؤلفه داده می‌شود.

EM به عنوان بیشینه‌سازی کران پایین

EM را می‌توان به عنوان بیشینه‌سازی یک کران پایین واریانس بر روی لگاریتم درست‌نمایی در نظر گرفت، دیدگاهی که به استنتاج تقریبی در مدل‌های متغیر پنهان پیچیده‌تر تعمیم می‌یابد.

Clinical relevance

مدل‌های متغیر پنهان زیربنای خوشه‌بندی نرم، تخمین چگالی، جایگزینی داده‌های گمشده، و مدل‌سازی توالی با مدل‌های پنهان مارکوف در گفتار و بیوانفورماتیک هستند؛ الگوریتم امید ریاضی-بیشینه‌سازی که این مدل‌ها به آن متکی هستند، یکی از پرکاربردترین رویه‌های بهینه‌سازی در آمار و یادگیری ماشین است.

History

موارد خاص ایده امید ریاضی-بیشینه‌سازی در ژنتیک و مسائل داده‌های ناقص قبل از اینکه دمپستر، لرد، و روبین فرمول‌بندی کلی را در سال 1977 ارائه دهند، ظاهر شد. آمیخته‌های گوسی و مدل‌های پنهان مارکوف به ابزارهای استاندارد متغیر پنهان تبدیل شدند، و تفسیر مجدد واریانس EM بعدها آن را به روش‌های استنتاج تقریبی مدرن مرتبط ساخت.

Key figures

• Arthur Dempster
• Nan Laird
• Donald Rubin

Seminal works

• dempster1977
• bishop2006
• murphy2012

Frequently asked questions

متغیر پنهان چیست؟

متغیر پنهان کمیتی مشاهده‌نشده است که در یک مدل برای توضیح داده‌های مشاهده‌شده گنجانده می‌شود، مانند اینکه کدام خوشه پنهان یک نقطه داده را تولید کرده است. مدل به جای اندازه‌گیری مستقیم این متغیرهای پنهان، توزیعی را بر روی آن‌ها استنتاج می‌کند.

چرا الگوریتم EM ممکن است گیر کند؟

EM درست‌نمایی را در هر مرحله افزایش می‌دهد اما تنها همگرایی به یک حداکثر محلی یا نقطه ثابت را تضمین می‌کند. مقداردهی اولیه متفاوت می‌تواند به راه‌حل‌های مختلفی منجر شود، بنابراین متخصصان اغلب آن را چندین بار از مقادیر شروع مختلف اجرا می‌کنند.