Optimisasi Stokastik — Varian SGD dan Lainnya

Optimisasi stokastik adalah keluarga metode iteratif yang meminimalkan fungsi objektif dengan menghitung gradien pada subset data yang diambil secara acak — mini-batch — alih-alih pada seluruh kumpulan data sekaligus. Dipelopori oleh Robbins dan Monro pada tahun 1951 sebagai aproksimasi stokastik, pendekatan ini menjadi mesin standar untuk melatih model pembelajaran mesin berskala besar melalui varian seperti SGD dengan momentum, AdaGrad, RMSProp, dan Adam.