Stochastic Gradient Descent (SGD)

Stochastic Gradient Descent (SGD) adalah algoritma optimisasi iteratif orde pertama, berakar pada kerangka kerja aproksimasi stokastik yang diperkenalkan oleh Robbins dan Monro pada tahun 1951, yang meminimalkan fungsi objektif dengan memperbarui parameter model menggunakan gradien yang dihitung pada satu contoh pelatihan yang dipilih secara acak (atau mini-batch kecil) di setiap langkah. Ini adalah mesin optimisasi inti di balik pembelajaran mesin modern dan pembelajaran mendalam, yang memungkinkan pelatihan model pada kumpulan data yang terlalu besar untuk dimuat dalam memori.