Teori Pembelajaran Statistik

Teori pembelajaran statistik mengkaji kapan dan mengapa pembelajaran dari data terbatas dapat digeneralisasi, menyediakan dasar matematis pembelajaran mesin.

Definition

Teori pembelajaran statistik adalah cabang pembelajaran mesin yang menggunakan probabilitas dan statistik untuk menganalisis kondisi di mana model yang disesuaikan dengan sampel terbatas akan berkinerja baik pada data yang belum terlihat, mengkarakterisasi pertukaran antara menyesuaikan data dan mengendalikan kompleksitas model.

Scope

Bidang ini mencakup teori generalisasi: kerangka minimisasi risiko empiris, ukuran kapasitas model seperti dimensi Vapnik-Chervonenkis, batas generalisasi yang menghubungkan galat pelatihan dan galat sebenarnya, pertukaran bias-varians, dan teori pembelajaran komputasi termasuk model kemungkinan perkiraan yang benar (probably approximately correct). Ini membahas pertanyaan mendasar tentang berapa banyak data yang dibutuhkan untuk belajar secara andal.

Sub-topics

• Bias-Variansi dan Overfitting
• Teori Pembelajaran Komputasional
• Batas Generalisasi
• Dimensi dan Kapasitas VC

Core questions

• Kapan minimisasi galat pelatihan menjamin galat rendah pada data baru?
• Bagaimana kapasitas atau kompleksitas kelas model diukur?
• Berapa banyak data yang dibutuhkan untuk mempelajari suatu konsep dengan akurasi tertentu?
• Mengapa kompleksitas model yang berlebihan merugikan generalisasi?

Key theories

Konvergensi seragam dan teori VC

Vapnik dan Chervonenkis menunjukkan bahwa galat empiris konvergen secara seragam ke galat sebenarnya di seluruh kelas model pada tingkat yang diatur oleh kapasitas kelas, hasil fundamental yang menghubungkan kompleksitas dengan generalisasi.

Minimisasi risiko struktural

Alih-alih hanya meminimalkan galat pelatihan, pembelajaran harus menyeimbangkan kesesuaian dengan kapasitas, memilih kelas model yang kompleksitasnya sesuai dengan data yang tersedia untuk meminimalkan batas pada galat sebenarnya.

Bias-varians dan kontrol kompleksitas

Galat generalisasi mencerminkan pertukaran antara bias dari model yang terlalu sederhana dan varians dari model yang terlalu fleksibel, memformalkan mengapa kompleksitas harus disesuaikan dengan data.

Clinical relevance

Teori pembelajaran statistik menjelaskan mengapa metode pembelajaran mesin bekerja dan menyediakan justifikasi konseptual untuk regularisasi, pemilihan model, dan kontrol kapasitas yang digunakan di seluruh bidang; batas-batasnya, meskipun seringkali longgar dalam praktiknya, membentuk cara praktisi berpikir tentang overfitting, ukuran sampel, dan batas-batas pembelajaran.

History

Bidang ini berasal dari karya Vapnik dan Chervonenkis pada tahun 1960-an dan 1970-an tentang konvergensi seragam dan kapasitas, serta dengan model kemungkinan perkiraan yang benar (probably approximately correct) Valiant pada tahun 1984, yang membingkai pembelajaran sebagai masalah komputasi. Benang-benang ini, yang kemudian digabungkan dengan perspektif bias-varians dari statistik, membentuk inti teoretis pembelajaran mesin.

Debates

Mengapa model yang terlalu banyak parameter dapat digeneralisasi

Teori klasik memprediksi bahwa model dengan kapasitas yang jauh melebihi data akan mengalami overfitting, namun jaringan saraf yang sangat besar seringkali dapat digeneralisasi dengan baik, mendorong pemeriksaan ulang aktif terhadap teori generalisasi.

Key figures

• Vladimir Vapnik
• Alexey Chervonenkis
• Leslie Valiant

Seminal works

• vapnik1995
• vapnik1971
• hastie2009

Frequently asked questions

Apa yang coba dijamin oleh teori pembelajaran statistik?

Teori ini mencari kondisi di mana galat rendah pada data pelatihan menyiratkan galat rendah pada data yang belum terlihat yang diambil dari distribusi yang sama. Jaminan tersebut berbentuk batas yang menghubungkan galat sebenarnya dengan galat pelatihan dan ukuran kompleksitas model.

Mengapa kompleksitas model sangat penting?

Kelas model yang terlalu kompleks dapat menyesuaikan data pelatihan apa pun, termasuk derau (noise)-nya, sehingga sedikit memberi tahu kita tentang data baru. Teori menunjukkan bahwa generalisasi bergantung pada kapasitas kelas, itulah sebabnya mengendalikan kompleksitas sangat penting untuk pembelajaran yang andal.