Tối ưu hóa ngẫu nhiên — SGD và các biến thể

Tối ưu hóa ngẫu nhiên là một họ các phương pháp lặp để cực tiểu hóa một hàm mục tiêu bằng cách tính toán gradient trên các tập con dữ liệu được lấy mẫu ngẫu nhiên — mini-batch — thay vì trên toàn bộ tập dữ liệu cùng một lúc. Khởi xướng bởi Robbins và Monro vào năm 1951 dưới dạng xấp xỉ ngẫu nhiên, phương pháp này đã trở thành công cụ tiêu chuẩn để huấn luyện các mô hình học máy quy mô lớn thông qua các biến thể như SGD với momentum, AdaGrad, RMSProp và Adam.