Gradient Boosting Machine (Ensemble of Additive Decision Trees)

Au lieu de construire de nombreux arbres en parallèle et de les moyenner (comme le fait Random Forest), le gradient boosting construit les arbres un par un. Chaque nouvel arbre se concentre spécifiquement sur les erreurs que le modèle actuel continue de commettre — les résidus. Ce processus de correction séquentielle est analogue à la descente de gradient en optimisation ordinaire, mais effectué dans l'espace des fonctions de prédiction plutôt que dans l'espace des paramètres. La prédiction finale est la somme de nombreuses corrections faibles, chacune rapprochant l'ensemble de la cible réelle. Un faible taux d'apprentissage force le modèle à faire des pas prudents, ce qui le régularise et produit généralement une meilleure généralisation.