SGD με Ορμή / Βελτιστοποιητής Adam
Η Στοχαστική Κάθοδος Κλίσης (SGD) με ορμή και ο προσαρμοστικός της απόγονος Adam είναι οι θεμελιώδεις αλγόριθμοι ενημέρωσης παραμέτρων που χρησιμοποιούνται για την εκπαίδευση σχεδόν κάθε σύγχρονου μοντέλου βαθιάς μάθησης. Η SGD με ορμή τυποποιήθηκε από τον Polyak (1964) και εισήχθη στην εκπαίδευση νευρωνικών δικτύων από τους Rumelhart, Hinton και Williams (1986). Ο Adam, που εισήχθη από τους Kingma και Ba στο ICLR 2015, επέκτεινε την ιδέα της ορμής διατηρώντας επίσης έναν κινούμενο μέσο όρο των τετραγωνικών κλίσεων, παράγοντας προσαρμοστικούς ρυθμούς μάθησης ανά παράμετρο που τον καθιστούν τον προεπιλεγμένο βελτιστοποιητή στην σύγχρονη πρακτική της βαθιάς μάθησης.
Διαβάστε ολόκληρη τη μέθοδο
Συνδεθείτε με δωρεάν λογαριασμό για να διαβάσετε αυτή την ενότητα.
Χάρτης μεθόδων
Η γειτονιά των σχετιζόμενων μεθόδων — επιλέξτε έναν κόμβο για εξερεύνηση.
Πηγές
- Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. International Conference on Learning Representations (ICLR 2015). arXiv:1412.6980. link ↗
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533–536. DOI: 10.1038/323533a0 ↗
- Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17. DOI: 10.1016/0041-5553(64)90137-5 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning (Ch. 8: Optimization for Training Deep Models). MIT Press. ISBN: 978-0-262-03561-3
Πώς να παραπέμψετε σε αυτή τη σελίδα
ScholarGate. (2026, June 3). Stochastic Gradient Descent with Momentum and Adaptive Moment Estimation (Adam). ScholarGate. https://scholargate.app/el/deep-learning/stochastic-gradient-descent-with-momentum-adam-optimizer
Ποια μέθοδος;
Τοποθετήστε αυτή τη μέθοδο δίπλα στις πιο συγγενείς της και διαβάστε τις παράλληλα — η βιβλιοθήκη απλώνει τα βιβλία στο τραπέζι· η επιλογή είναι δική σας.
- Κανονικοποίηση ΔέσμηςΒαθιά Μάθηση↔ σύγκριση
Similar methods
Εντοπίσατε πρόβλημα σε αυτή τη σελίδα; Αναφέρετέ το ή προτείνετε διόρθωση →