Pembelajaran Penguatan Mendalam

Pembelajaran penguatan mendalam menggunakan jaringan saraf untuk memperkirakan fungsi nilai atau kebijakan, meningkatkan skala pembelajaran penguatan ke masukan berdimensi tinggi seperti gambar dan permainan kompleks.

Definition

Pembelajaran penguatan mendalam adalah pembelajaran penguatan di mana jaringan saraf mendalam berfungsi sebagai aproksimator fungsi untuk fungsi nilai, kebijakan, atau model, memungkinkan agen untuk belajar langsung dari observasi mentah berdimensi tinggi daripada fitur keadaan yang direkayasa secara manual.

Scope

Topik ini mencakup kombinasi pembelajaran penguatan dengan jaringan saraf mendalam: jaringan Q-mendalam dengan pemutaran ulang pengalaman dan jaringan target untuk stabilitas, metode aktor-kritikus mendalam dan optimasi kebijakan, serta integrasi pembelajaran dengan pencarian seperti dalam sistem permainan. Ini membahas tantangan stabilitas dalam melatih fungsi nilai dengan aproksimasi fungsi dan pencapaian penting yang dihasilkan.

Core questions

• Bagaimana jaringan saraf memungkinkan pembelajaran penguatan menangani masukan mentah berdimensi tinggi?
• Mengapa menggabungkan pembelajaran nilai dengan aproksimasi fungsi cenderung tidak stabil?
• Teknik apa saja seperti pemutaran ulang pengalaman dan jaringan target yang menstabilkan pelatihan?
• Bagaimana pembelajaran dan pencarian digabungkan dalam agen permainan?

Key theories

Jaringan Q-mendalam

Mengaproksimasi nilai tindakan dengan jaringan mendalam, distabilkan oleh pemutaran ulang pengalaman dan jaringan target yang diperbarui secara perlahan, memungkinkan satu arsitektur untuk mempelajari banyak permainan Atari dari piksel hingga tingkat manusia.

Pembelajaran yang dikombinasikan dengan pencarian

Memasangkan jaringan kebijakan dan nilai mendalam dengan pencarian pohon Monte Carlo dan pelatihan melalui permainan mandiri menghasilkan sistem yang menguasai permainan Go, melampaui pemain manusia terkuat.

Stabilitas aproksimasi fungsi

Menggabungkan bootstrapping, pembelajaran off-policy, dan aproksimasi fungsi dapat menyebabkan pelatihan menyimpang, sehingga pembelajaran penguatan mendalam mengandalkan teknik yang cermat untuk menjaga estimasi nilai tetap stabil.

Clinical relevance

Pembelajaran penguatan mendalam menghasilkan beberapa demonstrasi kecerdasan buatan yang paling terlihat, termasuk permainan super-manusia dan kemajuan dalam robotika dan kontrol, dan tekniknya menginformasikan penyetelan halus berbasis hadiah dari model besar; biaya sampel yang tinggi dan ketidakstabilan pelatihan tetap menjadi batasan praktis yang penting.

History

Jaringan Q-mendalam tahun 2015 menunjukkan bahwa pembelajaran penguatan dengan aproksimasi fungsi mendalam dapat belajar langsung dari piksel, dan sistem permainan Go tahun 2016 menggabungkan jaringan mendalam dengan pencarian dan permainan mandiri untuk mengalahkan pemain manusia teratas. Hasil-hasil ini, yang dibangun di atas fondasi pembelajaran penguatan yang dikodifikasi oleh Sutton dan Barto, menetapkan pembelajaran penguatan mendalam sebagai arah penelitian utama.

Key figures

• Volodymyr Mnih
• David Silver
• Demis Hassabis

Seminal works

• mnih2015
• silver2016
• sutton2018

Frequently asked questions

Apa yang ditunjukkan oleh jaringan Q-mendalam?

Ini menunjukkan bahwa satu agen jaringan saraf dapat belajar memainkan puluhan permainan Atari yang berbeda langsung dari piksel layar dan skor, mencapai kinerja tingkat manusia pada banyak di antaranya tanpa penyetelan khusus permainan, menggunakan pemutaran ulang pengalaman dan jaringan target untuk stabilitas.

Mengapa pembelajaran penguatan mendalam seringkali tidak stabil?

Menggabungkan estimasi nilai yang di-bootstrapped, data off-policy, dan aproksimasi jaringan saraf dapat memperkuat kesalahan dan menyebabkan pelatihan menyimpang. Teknik seperti pemutaran ulang pengalaman, jaringan target, dan pilihan laju pembelajaran yang cermat digunakan untuk menjaga pembelajaran tetap stabil.