SGD sa zamajcem / Adam optimizator
Stohastički gradijentni spust (SGD) sa zamajcem i njegov potomak Adam su fundamentalni algoritmi za ažuriranje parametara koji se koriste za obuku gotovo svakog modernog modela dubokog učenja. SGD sa zamajcem formalizovao je Poljak (1964), a u obuku neuralnih mreža uveo ga je Rumelhart, Hinton i Vilijams (1986). Adam, koji su predstavili Kingma i Ba na ICLR 2015, proširio je ideju zamajca održavajući pokretni prosek kvadriranih gradijenata, proizvodeći adaptivne stope učenja po parametru, što ga čini podrazumevanim optimizatorom u savremenoj praksi dubokog učenja.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Mapa metoda
Okruženje srodnih metoda — izaberite čvor da biste istraživali.
Izvori
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Kako citirati ovu stranicu
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/sr/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Koja metoda?
Postavite ovu metodu pored njoj najbližih srodnika i čitajte ih uporedo — biblioteka polaže knjige na sto; izbor je na vama.
- Batch NormalizationDuboko učenje↔ uporedi
Similar methods
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →