Arsitektur Jaringan Saraf

Arsitektur jaringan saraf menentukan bagaimana neuron buatan dihubungkan menjadi lapisan-lapisan, mendefinisikan keluarga fungsi yang dapat direpresentasikan oleh suatu jaringan.

Definition

Arsitektur jaringan saraf adalah susunan neuron buatan ke dalam lapisan-lapisan yang terhubung, di mana setiap neuron menghitung fungsi nonlinier dari jumlah berbobot masukannya; arsitektur menentukan kapasitas jaringan dan bias induktif yang dibawanya ke masalah pembelajaran.

Scope

Topik ini mencakup blok bangunan dan struktur jaringan saraf: neuron buatan dengan masukan berbobot dan aktivasi nonlinier, lapisan umpan maju yang terhubung penuh dan perseptron multi-lapisan, fungsi aktivasi seperti sigmoid dan unit linier terektifikasi, serta bagaimana kedalaman, lebar, dan konektivitas membentuk apa yang dapat dipelajari oleh suatu jaringan. Ini memperkenalkan properti aproksimasi universal dan peran pemilihan arsitektur.

Core questions

• Bagaimana neuron buatan menghitung keluarannya?
• Apa yang dapat direpresentasikan oleh jaringan multi-lapisan yang tidak dapat dilakukan oleh satu lapisan?
• Bagaimana fungsi aktivasi memengaruhi pembelajaran?
• Bagaimana kedalaman dan lebar menyeimbangkan kapasitas dengan kemampuan latih?

Key theories

Aproksimasi universal

Jaringan umpan maju dengan satu lapisan tersembunyi yang cukup lebar dapat mengaproksimasi fungsi kontinu apa pun pada domain terbatas, menetapkan jaringan saraf sebagai aproksimator fungsi yang fleksibel.

Fungsi aktivasi dan nonlinieritas

Aktivasi nonlinierlah yang memberikan kekuatan pada jaringan multi-lapisan; unit linier terektifikasi khususnya memudahkan aliran gradien dan telah menjadi pilihan standar untuk jaringan mendalam.

Kedalaman sebagai komposisi

Menambahkan lapisan menyusun transformasi sehingga jaringan membangun fitur-fitur yang semakin abstrak, seringkali merepresentasikan fungsi kompleks secara lebih efisien daripada satu lapisan lebar.

Clinical relevance

Pilihan arsitektur adalah cara utama pengetahuan sebelumnya tentang suatu masalah dibangun ke dalam model mendalam, dari jaringan yang terhubung penuh untuk data generik hingga struktur khusus untuk gambar dan urutan; memahami neuron buatan dan properti aproksimasi universal menjelaskan kekuatan dan batasan jaringan saraf.

History

Neuron buatan berawal dari McCulloch dan Pitts serta perseptron Rosenblatt. Kritik Minsky dan Papert terhadap jaringan satu lapis memperlambat bidang ini hingga jaringan multi-lapisan dan backpropagation menghidupkannya kembali, dan era pembelajaran mendalam membawa arsitektur puluhan atau ratusan lapisan yang dibangun dari unit linier terektifikasi dan komponen lainnya.

Key figures

• Frank Rosenblatt
• Geoffrey Hinton
• Yann LeCun

Seminal works

• goodfellow2016
• bishop2006
• lecun2015

Frequently asked questions

Apa itu fungsi aktivasi dan mengapa diperlukan?

Fungsi aktivasi menerapkan transformasi nonlinier pada jumlah masukan berbobot neuron. Tanpa itu, menumpuk lapisan hanya akan menghasilkan fungsi linier lain, sehingga nonlinieritaslah yang memungkinkan jaringan mendalam merepresentasikan hubungan kompleks dan nonlinier.

Jika satu lapisan lebar dapat mengaproksimasi fungsi apa pun, mengapa harus mendalam?

Aproksimasi universal menyatakan bahwa jaringan dangkal pada prinsipnya dapat menyesuaikan fungsi apa pun, tetapi mungkin memerlukan neuron yang tidak praktis banyaknya. Jaringan mendalam seringkali merepresentasikan fungsi yang sama jauh lebih ringkas dan mempelajari fitur hierarkis yang berguna, itulah sebabnya kedalaman lebih disukai dalam praktiknya.