SGD koos impulssiga / Adam Optimeerija
Impulssiga stokastiline gradiendialang (SGD) ja selle adaptiivne järglane Adam on aluslikud parameetrite uuendamise algoritmid, mida kasutatakse peaaegu kõigi tänapäevaste süvaõppemudelite treenimiseks. Impulssiga SGD formaliseeris Polyak (1964) ja tõi närvivõrkude treeningusse Rumelhart, Hinton ja Williams (1986). Kingma ja Ba esitlesid ICLR 2015 konverentsil Adami, mis laiendas impulsi ideed, säilitades ka jooksva keskmise ruudugradiendidest, luues parameetripõhised adaptiivsed õppemäärad, mis muudavad selle tänapäevase süvaõppepraktika vaikimisi optimeerijaks.
Loe meetodi täielikku kirjeldust
Selle osa lugemiseks logi sisse tasuta kontoga.
Meetodikaart
Seotud meetodite ümbruskond — vali sõlm, et seda uurida.
Allikad
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Kuidas sellele lehele viidata
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/et/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Milline meetod?
Aseta see meetod oma lähimate sugulaste kõrvale ja loe neid kõrvuti — raamatukogu laob raamatud lauale; valik on sinu.
Võrdle kõrvuti →Similar methods
Märkasid sellel lehel viga? Teata sellest või paku parandust →