Stohastiskā gradienta dīkstāve (SGD) ar impulsu / Optimizators Adam
Stohastiskā gradienta dīkstāve (SGD) ar impulsu un tās adaptīvais pēctecis Adam ir pamata algoritmi parametru atjaunināšanai, ko izmanto gandrīz katra mūsdienu dziļās apmācības modeļa apmācībā. Impulsa SGD formalizēja Poljaks (1964) un ieviesa neironu tīklu apmācībā Rumelharts, Hintons un Viljams (1986). Adam, ko 2015. gadā ICLR konferencē iepazīstināja Kingma un Ba, paplašināja impulsa ideju, uzturot arī pagājušo gradientu vidējo vērtību, radot adaptīvus mācīšanās koeficientus katram parametram, kas padara to par noklusējuma optimizatoru mūsdienu dziļās apmācības praksē.
Lasīt pilno metodes aprakstu
Piesakieties ar bezmaksas kontu, lai lasītu šo sadaļu.
Metožu karte
Saistīto metožu apkaime — atlasiet mezglu, lai izpētītu.
Avoti
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Kā citēt šo lapu
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/lv/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Kura metode?
Novietojiet šo metodi blakus tās tuvākajām radniecīgajām metodēm un lasiet tās līdzās — bibliotēka noliek grāmatas uz galda; izvēle ir jūsu.
- Batču normalizācijaDziļā mācīšanās↔ salīdzināt
Similar methods
Pamanījāt kļūdu šajā lapā? Ziņojiet vai ierosiniet labojumu →