SGD dengan Momentum / Pengoptimum Adam
Stochastic Gradient Descent (SGD) dengan momentum dan keturunannya yang adaptif, Adam, merupakan algoritma kemas kini parameter asas yang digunakan untuk melatih hampir setiap model pembelajaran mendalam moden. Momentum SGD telah diformalkan oleh Polyak (1964) dan diperkenalkan ke dalam latihan rangkaian saraf oleh Rumelhart, Hinton, dan Williams (1986). Adam, yang diperkenalkan oleh Kingma dan Ba di ICLR 2015, melanjutkan idea momentum dengan juga mengekalkan purata bergerak bagi kecerunan kuasa dua, menghasilkan kadar pembelajaran adaptif per-parameter yang menjadikannya pengoptimum lalai dalam amalan pembelajaran mendalam kontemporari.
Baca kaedah sepenuhnya
Log masuk dengan akaun percuma untuk membaca bahagian ini.
Peta kaedah
Kejiranan kaedah berkaitan — pilih satu nod untuk meneroka.
Sumber
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Cara memetik halaman ini
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/ms/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Kaedah yang mana?
Letakkan kaedah ini di sebelah kaedah yang paling rapat dengannya dan baca secara bersebelahan — perpustakaan menyusun buku di atas meja; pilihan terletak pada anda.
- Normalisasi KelompokPembelajaran Mendalam↔ banding
Similar methods
Terjumpa masalah pada halaman ini? Laporkan atau cadangkan pembetulan →