Градиентный бустинг

Градиентный бустинг — это метод ансамблевого обучения, формализованный Джеромом Х. Фридманом в 2001 году, который объединяет последовательность слабых учеников (обычно неглубоких деревьев решений) таким образом, что каждое новое дерево подгоняется для минимизации остаточных ошибок предыдущих деревьев. Это основной алгоритм, лежащий в основе популярных реализаций, таких как XGBoost, LightGBM и CatBoost.