Pengoptimuman Stokastik — SGD dan Varian

Pengoptimuman stokastik ialah keluarga kaedah lelaran yang meminimumkan fungsi objektif dengan mengira kecerunan pada subset data yang disampel secara rawak — kelompok mini (mini-batches) — dan bukannya pada keseluruhan set data sekaligus. Dipelopori oleh Robbins dan Monro pada tahun 1951 sebagai penghampiran stokastik, pendekatan ini menjadi enjin standard untuk melatih model pembelajaran mesin berskala besar melalui varian seperti SGD dengan momentum, AdaGrad, RMSProp, dan Adam.