SGD with Momentum / Adam Optimizer
स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) मोमेंटम के साथ और इसके अनुकूली वंशज एडम लगभग हर आधुनिक डीप लर्निंग मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने वाले मूलभूत पैरामीटर-अपडेट एल्गोरिदम हैं। मोमेंटम SGD को पॉलीक (1964) द्वारा औपचारिक रूप दिया गया था और इसे रूमेलहार्ट, हिंटन और विलियम्स (1986) द्वारा न्यूरल नेटवर्क प्रशिक्षण में लाया गया था। एडम, जिसे किंग्मा और बा ने ICLR 2015 में प्रस्तुत किया था, ने ग्रेडिएंट्स के वर्ग के रनिंग एवरेज को बनाए रखकर मोमेंटम विचार का विस्तार किया, जिससे प्रति-पैरामीटर अनुकूली सीखने की दरें उत्पन्न हुईं जो इसे समकालीन डीप लर्निंग अभ्यास में डिफ़ॉल्ट ऑप्टिमाइज़र बनाती हैं।
पूरी विधि पढ़ें
यह खंड पढ़ने के लिए निःशुल्क खाते से साइन इन करें।
पद्धति मानचित्र
सम्बन्धित पद्धतियों का परिवेश — अन्वेषण हेतु किसी नोड का चयन करें।
स्रोत
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
इस पृष्ठ का उद्धरण कैसे दें
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/hi/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
कौन-सी पद्धति?
इस पद्धति को उसकी निकटतम सजातीय पद्धतियों के साथ रखकर उन्हें साथ-साथ पढ़ें — पुस्तकालय पुस्तकें मेज़ पर रख देता है; चुनाव आपका है।
- बैच नॉर्मलाइज़ेशनगहन अधिगम↔ तुलना करें