Tối ưu hóa Gradient Ngẫu nhiên (Stochastic Gradient Descent - SGD)

Tối ưu hóa Gradient Ngẫu nhiên (SGD) là một thuật toán tối ưu hóa lặp bậc nhất, bắt nguồn từ khuôn khổ xấp xỉ ngẫu nhiên do Robbins và Monro giới thiệu năm 1951, nhằm mục đích giảm thiểu một hàm mục tiêu bằng cách cập nhật các tham số mô hình sử dụng gradient được tính toán trên một ví dụ huấn luyện được chọn ngẫu nhiên duy nhất (hoặc một lô nhỏ) ở mỗi bước. Đây là công cụ tối ưu hóa cốt lõi đằng sau học máy và học sâu hiện đại, cho phép huấn luyện các mô hình trên các tập dữ liệu quá lớn để chứa vừa trong bộ nhớ.