Stochastic Gradient Descent (SGD)

Stochastic Gradient Descent (SGD) ialah algoritma pengoptimuman berulang peringkat pertama, berakar daripada rangka kerja anggaran stokastik yang diperkenalkan oleh Robbins dan Monro pada tahun 1951, yang meminimumkan fungsi objektif dengan mengemas kini parameter model menggunakan kecerunan yang dikira pada satu contoh latihan yang dipilih secara rawak (atau kumpulan kecil) pada setiap langkah. Ia adalah enjin pengoptimuman teras di sebalik pembelajaran mesin moden dan pembelajaran mendalam, membolehkan latihan model pada set data yang terlalu besar untuk dimuatkan dalam memori.