SGD me Momentum / Adam Optimizer
Stochastic Gradient Descent (SGD) me momentum dhe pasardhësi i tij adaptiv Adam janë algoritmet themelore të përditësimit të parametrave të përdorura për të trajnuar pothuajse çdo model modern të thellë të të mësuarit. Momentum SGD u formalizua nga Polyak (1964) dhe u soll në trajnimin e rrjeteve nervore nga Rumelhart, Hinton dhe Williams (1986). Adam, i prezantuar nga Kingma dhe Ba në ICLR 2015, zgjeroi idenë e momentumit duke ruajtur gjithashtu një mesatare të rrjedhshme të gradienteve të katrorizuara, duke prodhuar shkallë mësimi adaptiv për parametër që e bëjnë atë optimizuesin e parazgjedhur në praktikën bashkëkohore të thellë të të mësuarit.
Lexoni metodën e plotë
Hyni me një llogari falas për ta lexuar këtë seksion.
Harta e metodave
Lagjja e metodave të lidhura — zgjidhni një nyje për të eksploruar.
Burimet
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Si ta citoni këtë faqe
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/sq/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Cila metodë?
Vendoseni këtë metodë pranë të afërmeve të saj më të ngushta dhe lexojini krah për krah — biblioteka i shtron librat mbi tryezë; zgjedhja është e juaja.
- Normalizimi i GrupitMësimi i thellë↔ krahaso
Similar methods
Vutë re një problem në këtë faqe? Raportojeni ose sugjeroni një korrigjim →