Regresi dan Aproksimasi Fungsi

Regresi mempelajari fungsi bernilai kontinu dari contoh berlabel, memprediksi target numerik dan mengaproksimasi hubungan input-output yang tidak diketahui.

Definition

Regresi adalah tugas terawasi untuk mengestimasi fungsi yang memetakan input ke output kontinu, biasanya dengan meminimalkan kerugian seperti galat kuadrat pada contoh pelatihan, dengan penalti regularisasi yang digunakan untuk mengecilkan koefisien dan membatasi overfitting.

Scope

Topik ini mencakup pembelajaran terawasi dari keluaran bernilai riil: regresi linear dan polinomial, model fungsi basis dan spline, regularisasi ridge dan lasso, tujuan kuadrat terkecil dan interpretasi probabilistiknya sebagai derau Gaussian, serta trade-off bias-varians yang mengatur seberapa fleksibel fungsi yang disesuaikan seharusnya.

Core questions

• Bagaimana fungsi kontinu disesuaikan dengan data berlabel yang bising?
• Fungsi kerugian apa yang sesuai dengan asumsi derau apa?
• Bagaimana penalti ridge dan lasso menukar kecocokan dengan kompleksitas model?
• Seberapa fleksibelkah fungsi regresi untuk menyeimbangkan bias dan varians?

Key theories

Kuadrat terkecil dan pandangan Gauss-Markov

Meminimalkan galat kuadrat menghasilkan rata-rata kondisional sebagai prediktor optimal di bawah derau aditif, dan untuk model linear memberikan estimasi linear tak bias terbaik, menghubungkan regresi dengan kemungkinan maksimum di bawah derau Gaussian.

Regresi teregularisasi

Regresi ridge mengecilkan koefisien menuju nol dengan penalti L2 sementara lasso menggunakan penalti L1 yang dapat mengatur koefisien tepat menjadi nol, melakukan pemilihan variabel dan meningkatkan prediksi dalam dimensi tinggi.

Ekspansi fungsi basis

Hubungan nonlinear ditangkap dengan memetakan input melalui fungsi basis tetap atau adaptif, seperti polinomial, spline, atau fungsi radial, sehingga model linear dalam fitur baru sesuai dengan fungsi nonlinear dari yang asli.

Clinical relevance

Regresi sangat penting untuk peramalan, penyesuaian kurva ilmiah, pemodelan risiko, dan tugas apa pun dengan target numerik, dan ide regularisasi yang sama yang meningkatkan regresi, seperti ridge dan lasso, muncul kembali di seluruh pembelajaran mesin sebagai sarana umum untuk mengendalikan kompleksitas model.

History

Regresi kuadrat terkecil berasal dari Gauss dan Legendre dan masuk ke pembelajaran mesin sebagai alat prediktif fundamental. Regresi ridge memperkenalkan penyusutan untuk menstabilkan masalah yang tidak terkondisi dengan baik, dan lasso, yang diperkenalkan oleh Tibshirani pada tahun 1996, menjadikan regresi sparse sebagai teknik standar untuk prediksi dimensi tinggi dan pemilihan variabel.

Key figures

• Trevor Hastie
• Robert Tibshirani
• Arthur Hoerl

Seminal works

• hastie2009
• bishop2006
• tibshirani1996

Frequently asked questions

Apa perbedaan antara regresi ridge dan lasso?

Keduanya menambahkan penalti pada ukuran koefisien ke kuadrat terkecil biasa. Ridge menggunakan penalti kuadrat (L2) yang mengecilkan semua koefisien secara halus, sementara lasso menggunakan penalti nilai absolut (L1) yang dapat mendorong beberapa koefisien tepat menjadi nol, secara efektif memilih subset fitur.

Mengapa galat kuadrat begitu umum digunakan?

Meminimalkan galat kuadrat memberikan rata-rata kondisional sebagai prediktor terbaik dan sesuai dengan kemungkinan maksimum ketika derau bersifat Gaussian. Ini juga nyaman secara matematis karena menghasilkan solusi bentuk tertutup atau terdiferensiasi secara halus.