Gradient Boosting

Gradient Boosting é um método de aprendizado em conjunto (ensemble learning), formalizado por Jerome H. Friedman em 2001, que combina uma sequência de "aprendizes fracos" (weak learners) — tipicamente árvores de decisão rasas — de modo que cada nova árvore é ajustada para minimizar os erros residuais das árvores anteriores. É o algoritmo central por trás de implementações populares como XGBoost, LightGBM e CatBoost.