اعتبارسنجی متقابل و بازنمونه‌گیری

اعتبارسنجی متقابل و بازنمونه‌گیری، خطای تعمیم‌پذیری یک مدل را با تقسیم‌بندی مکرر یا بازنمونه‌گیری داده‌های موجود تخمین می‌زنند و از مجموعه داده‌های محدود به طور کارآمد استفاده می‌کنند.

Definition

اعتبارسنجی متقابل خطای تعمیم‌پذیری را با تقسیم داده‌ها به بخش‌هایی (folds)، آموزش بر روی برخی بخش‌ها و آزمون بر روی بخش کنار گذاشته شده، و میانگین‌گیری بر روی چرخش‌ها تخمین می‌زند؛ بازنمونه‌گیری به طور گسترده‌تر، شامل بوت‌استرپ، به طور مکرر زیرمجموعه‌هایی از داده‌ها را برای تخمین عملکرد و تغییرپذیری یک رویه یادگیری ترسیم می‌کند.

Scope

این موضوع به روش‌های استفاده مجدد از داده‌ها برای ارزیابی مدل‌ها می‌پردازد: تقسیم آموزش-آزمون، اعتبارسنجی متقابل k-برابر و حذف یک مورد، اعتبارسنجی متقابل طبقه‌بندی شده و تودرتو برای تنظیم، و بوت‌استرپ برای تخمین عدم قطعیت. همچنین به سوگیری و واریانس این تخمین‌گرها و مشکلات احتمالی مانند نشت داده‌ها که می‌تواند آنها را بی‌اعتبار کند، می‌پردازد.

Core questions

• چگونه اعتبارسنجی متقابل k-برابر خطای تعمیم‌پذیری را تخمین می‌زند؟
• موازنه سوگیری-واریانس تعداد بخش‌های مختلف چیست؟
• چگونه اعتبارسنجی متقابل تودرتو تنظیم و ارزیابی را جدا نگه می‌دارد؟
• چگونه بوت‌استرپ تغییرپذیری یک تخمین را برآورد می‌کند؟

Key theories

اعتبارسنجی متقابل k-برابر

تقسیم داده‌ها به k بخش و چرخاندن اینکه کدام بخش کنار گذاشته شود، تخمینی از خطای تعمیم‌پذیری را ارائه می‌دهد که از تمام داده‌ها هم برای آموزش و هم برای آزمون استفاده می‌کند و محاسبات را با یک تخمین قابل اعتمادتر مبادله می‌کند.

اعتبارسنجی متقابل تودرتو

هنگامی که ابرپارامترها تنظیم می‌شوند، یک حلقه اعتبارسنجی متقابل داخلی آنها را انتخاب می‌کند و یک حلقه خارجی عملکرد را ارزیابی می‌کند، که از سوگیری خوش‌بینانه‌ای که از تنظیم و ارزیابی بر روی داده‌های یکسان ناشی می‌شود، جلوگیری می‌کند.

بوت‌استرپ

بازنمونه‌گیری داده‌ها با جایگزینی برای دفعات زیاد، توزیع نمونه‌گیری یک آمار یا عملکرد مدل را تخمین می‌زند و فواصل اطمینان و تخمین‌های خطا را بدون مفروضات توزیعی فراهم می‌کند.

Clinical relevance

اعتبارسنجی متقابل ابزار استانداردی برای تخمین عملکرد مدل و انتخاب مدل‌ها در شرایطی است که داده‌ها محدود هستند، و بوت‌استرپ به طور گسترده‌ای برای کمی‌سازی عدم قطعیت استفاده می‌شود؛ استفاده نادرست از آنها، به عنوان مثال با نشت اطلاعات آزمون به آموزش یا تنظیم بر روی داده‌های ارزیابی، یک علت مکرر و جدی برای نتایج اغراق‌آمیز است.

History

اعتبارسنجی متقابل به عنوان یک روش رسمی برای تخمین خطای پیش‌بینی توسط استون (Stone) و گایسر (Geisser) در دهه ۱۹۷۰ توسعه یافت. افرون (Efron) بوت‌استرپ را در سال ۱۹۷۹ معرفی کرد، و این روش‌های بازنمونه‌گیری با هم برای ارزیابی و تخمین عدم قطعیت در آمار و یادگیری ماشین ضروری شدند.

Key figures

• Mervyn Stone
• Bradley Efron
• Robert Tibshirani

Seminal works

• hastie2009
• efron1993
• murphy2012

Frequently asked questions

اعتبارسنجی متقابل k-برابر چه کاری انجام می‌دهد؟

این روش داده‌ها را به k قسمت مساوی تقسیم می‌کند، سپس مدل را k بار آموزش می‌دهد، هر بار یک قسمت متفاوت را برای آزمون کنار می‌گذارد و از بقیه برای آموزش استفاده می‌کند. میانگین‌گیری از k نتیجه آزمون، تخمینی از نحوه عملکرد مدل بر روی داده‌های دیده نشده را ارائه می‌دهد.

چرا گاهی اوقات به اعتبارسنجی متقابل تودرتو نیاز است؟

اگر ابرپارامترها را تنظیم کنید و عملکرد را با همان اعتبارسنجی متقابل اندازه‌گیری کنید، تخمین خوش‌بینانه است زیرا انتخاب‌ها با آن داده‌ها سازگار شده‌اند. اعتبارسنجی متقابل تودرتو از یک حلقه داخلی برای تنظیم و یک حلقه خارجی برای ارزیابی استفاده می‌کند و این دو را جدا نگه می‌دارد.