মোমেন্টাম সহ এসজিডি / অ্যাডাম অপ্টিমাইজার
মোমেন্টাম সহ স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট (এসজিডি) এবং এর অভিযোজিত উত্তরসূরি অ্যাডাম হল মৌলিক প্যারামিটার-আপডেট অ্যালগরিদম যা কার্যত প্রতিটি আধুনিক ডিপ লার্নিং মডেলকে প্রশিক্ষণ দিতে ব্যবহৃত হয়। মোমেন্টাম এসজিডি পোলিয়াক (১৯৬৪) দ্বারা আনুষ্ঠানিক রূপ লাভ করে এবং রুমােলহার্ট, হিন্টন এবং উইলিয়ামস (১৯৮৬) দ্বারা নিউরাল নেটওয়ার্ক প্রশিক্ষণে আনা হয়। অ্যাডাম, কিংমা এবং বা আইসিএলআর ২০১৫ সালে প্রবর্তন করেন, এটি গ্রেডিয়েন্টের বর্গক্ষেত্রের একটি চলমান গড় বজায় রেখে মোমেন্টাম ধারণার প্রসার ঘটায়, যা প্রতি-প্যারামিটার অভিযোজিত লার্নিং রেট তৈরি করে যা এটিকে সমসাময়িক ডিপ লার্নিং অনুশীলনে ডিফল্ট অপ্টিমাইজার করে তোলে।
পুরো পদ্ধতিটি পড়ুন
এই অংশটি পড়তে বিনামূল্যের অ্যাকাউন্ট দিয়ে সাইন ইন করুন।
পদ্ধতি-মানচিত্র
সম্পর্কিত পদ্ধতিসমূহের প্রতিবেশ — অন্বেষণ করতে একটি নোড নির্বাচন করুন।
উৎস
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
এই পৃষ্ঠা কীভাবে উদ্ধৃত করবেন
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/bn/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
কোন পদ্ধতি?
এই পদ্ধতিটিকে তার নিকটতম সমগোত্রীয়দের পাশে রাখুন এবং পাশাপাশি পড়ুন — গ্রন্থাগার বইগুলি টেবিলে সাজিয়ে দেয়; নির্বাচন আপনার।
- Batch Normalizationগভীর শিখন↔ তুলনা করুন
Similar methods
এই পৃষ্ঠায় কোনো ত্রুটি চোখে পড়েছে? জানান বা সংশোধনের প্রস্তাব দিন →