Gradient Boosting

Gradient Boosting là một phương pháp học tập tập hợp (ensemble learning), được Jerome H. Friedman chính thức hóa vào năm 2001, kết hợp một chuỗi các bộ học yếu (weak learners) — thường là các cây quyết định nông — sao cho mỗi cây mới được huấn luyện để giảm thiểu sai số phần dư của các cây trước đó. Đây là thuật toán cốt lõi đằng sau các triển khai phổ biến như XGBoost, LightGBM và CatBoost.