Bias-Variansi dan Overfitting

Pertukaran bias-variansi menjelaskan bagaimana kompleksitas model mengontrol kesalahan prediksi, dengan overfitting dan underfitting sebagai dua mode kegagalan yang harus diseimbangkan oleh pembelajar.

Definition

Pertukaran bias-variansi adalah prinsip bahwa kesalahan prediksi yang diharapkan terurai menjadi bias, yaitu kesalahan dari model yang terlalu sederhana untuk menangkap kebenaran, dan variansi, yaitu kesalahan dari model yang terlalu sensitif terhadap sampel pelatihan tertentu, dengan kompleksitas model menggeser kesalahan di antara keduanya.

Scope

Topik ini mencakup dekomposisi kesalahan prediksi yang diharapkan menjadi bias, variansi, dan noise yang tidak dapat direduksi; makna overfitting dan underfitting; dan peran regularisasi dalam menggeser keseimbangan. Ini juga mencakup kurva kesalahan berbentuk U klasik dan observasi terbaru tentang double descent pada model yang sangat overparameterized.

Core questions

• Bagaimana kesalahan yang diharapkan terurai menjadi bias, variansi, dan noise?
• Apa yang menjadi ciri overfitting versus underfitting?
• Bagaimana regularisasi menggeser keseimbangan bias-variansi?
• Mengapa model yang sangat fleksibel terkadang dapat menggeneralisasi meskipun memiliki kapasitas tinggi?

Key theories

Dekomposisi bias-variansi

Untuk kerugian kuadratik (squared-error loss), kesalahan yang diharapkan terbagi menjadi bias kuadrat, variansi, dan noise yang tidak dapat direduksi, menjelaskan bagaimana asumsi penyederhanaan mengurangi variansi dengan mengorbankan bias dan sebaliknya.

Overfitting dan regularisasi

Overfitting terjadi ketika model menangkap noise daripada sinyal; regularisasi memberikan penalti pada kompleksitas untuk mengurangi variansi, menukar peningkatan kecil dalam bias dengan penurunan variansi yang lebih besar.

Melampaui pertukaran klasik

Dalam rezim yang sangat overparameterized, kesalahan dapat menurun lagi melewati titik interpolasi, fenomena double-descent, yang memperumit gambaran klasik dari kurva berbentuk U tunggal.

Clinical relevance

Pertukaran bias-variansi adalah inti praktis dari penyesuaian model, membimbing pilihan ukuran model, kekuatan regularisasi, dan jumlah fitur untuk meminimalkan kesalahan pada data baru; mendiagnosis apakah suatu model mengalami underfitting atau overfitting adalah langkah rutin dan esensial dalam pembelajaran mesin terapan.

History

Dekomposisi bias-variansi diartikulasikan untuk jaringan saraf dan pembelajaran oleh Geman dan rekan-rekannya sekitar tahun 1992 dan menjadi lensa standar dalam statistik dan pembelajaran mesin. Teori regularisasi memformalkan kontrol kompleksitas, dan temuan double-descent baru-baru ini telah mendorong pemeriksaan ulang pertukaran untuk model overparameterized modern.

Key figures

• Stuart Geman
• Trevor Hastie
• Christopher Bishop

Seminal works

• hastie2009
• bishop2006
• geman1992

Frequently asked questions

Apa perbedaan antara overfitting dan underfitting?

Underfitting adalah ketika model terlalu sederhana untuk menangkap pola yang mendasari, menghasilkan bias tinggi dan kinerja buruk bahkan pada data pelatihan. Overfitting adalah ketika model sangat fleksibel sehingga sesuai dengan noise dalam data pelatihan, menghasilkan variansi tinggi dan kinerja buruk pada data baru.

Bagaimana regularisasi membantu?

Regularisasi menambahkan penalti pada kompleksitas model, mencegah parameter yang ekstrem atau banyak. Ini mengurangi variansi, biasanya dengan mengorbankan peningkatan kecil dalam bias, dan dengan demikian menurunkan total kesalahan pada data yang tidak terlihat ketika kompleksitas akan terlalu tinggi.