SGD Momentummal / Adam Optimizer
A momentummal ellátott sztochasztikus gradiens leszármazés (SGD) és annak adaptív leszármazottja, az Adam, az alapvető paraméterfrissítési algoritmusok, amelyeket gyakorlatilag minden modern mélytanulási modell képzésére használnak. A Momentum SGD-t Polyak (1964) formalizálta, és Rumelhart, Hinton és Williams (1986) hozta be a neurális hálózati képzésbe. Az Adam, amelyet Kingma és Ba vezetett be az ICLR 2015-ben, kiterjesztette a momentum ötletét azáltal, hogy a gradiens négyzetek futó átlagát is fenntartotta, így paraméterenkénti adaptív tanulási rátákat hozott létre, amelyek a kortárs mélytanulási gyakorlatban alapértelmezett optimalizálóvá teszik.
A teljes módszer elolvasása
Jelentkezzen be ingyenes fiókkal a szakasz elolvasásához.
Módszertérkép
A rokon módszerek környezete — válasszon ki egy csomópontot a felfedezéshez.
Források
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Hogyan hivatkozzon erre az oldalra
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/hu/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Melyik módszer?
Állítsa e módszert a hozzá legközelebb álló rokonai mellé, és olvassa őket egymás mellett — a könyvtár az asztalra teszi a könyveket; a választás az Öné.
- Batch NormalizationMélytanulás↔ összehasonlítás
Similar methods
Hibát talált ezen az oldalon? Jelentse, vagy javasoljon javítást →