Stochastic Gradient Descent
Stochastic Gradient Descent (SGD) is a first-order iterative optimization algorithm, rooted in the stochastic approximation framework introduced by Robbins and Monro in 1951, that minimizes an objective function by updating model parameters using the gradient computed on a single randomly selected training example (or a small mini-batch) at each step. It is the core optimization engine behind modern machine learning and deep learning, enabling the training of models on datasets too large to fit in memory.
Hồ sơ nguồn
Các trích dẫn được sao chép nguyên văn từ hồ sơ nguồn của phương pháp. Không có xác minh cấp độ yêu cầu nào được suy ra từ chúng.
- Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics, 22(3), 400–407. · DOI 10.1214/aoms/1177729586
- Goodfellow, I., Bengio, Y. & Courville, A. (2016). Deep Learning (Ch. 8). MIT Press. · ISBN 978-0-262-03561-3
Các yêu cầu được tuyển chọn
Các yêu cầu được lưu trữ trong sổ cái bằng chứng, mỗi yêu cầu có đánh giá riêng.
Chế độ xem này không tạo ra đánh giá yêu cầu khi sổ cái không có.
Các phương pháp liên quan
Được tạo từ biểu đồ phương pháp và hiển thị dưới dạng các mối quan hệ được đề xuất bởi máy — không có yêu cầu bằng chứng nào được suy ra.