SGD dengan Momentum / Adam Optimizer

Stochastic Gradient Descent (SGD) dengan momentum dan turunannya yang adaptif, Adam, adalah algoritma pembaruan parameter fundamental yang digunakan untuk melatih hampir setiap model deep learning modern. Momentum SGD diformalkan oleh Polyak (1964) dan diperkenalkan ke dalam pelatihan jaringan saraf oleh Rumelhart, Hinton, dan Williams (1986). Adam, yang diperkenalkan oleh Kingma dan Ba di ICLR 2015, memperluas ide momentum dengan juga mempertahankan rata-rata bergerak dari gradien kuadrat, menghasilkan laju pembelajaran adaptif per-parameter yang menjadikannya optimizer default dalam praktik deep learning kontemporer.