Quelle est la différence entre le bagging et le boosting ?

Le bagging entraîne des modèles de base indépendamment sur des données rééchantillonnées et les moyenne pour réduire la variance. Le boosting entraîne les modèles séquentiellement, chaque nouveau modèle se concentrant sur les erreurs de l'ensemble actuel, ce qui réduit le biais. Le bagging se parallélise naturellement ; le boosting est intrinsèquement séquentiel.

Pourquoi les forêts aléatoires sur-apprennent-elles rarement de manière significative ?

Chaque arbre est construit sur un échantillon bootstrap différent en utilisant un sous-ensemble aléatoire de caractéristiques, de sorte que les arbres sont décorélés. Le moyennage de nombreux arbres décorélés annule une grande partie de leur variance individuelle, et l'ajout de plus d'arbres n'augmente pas le surapprentissage.

Méthodes ensemblistes

Les méthodes ensemblistes combinent de nombreux modèles individuels en un prédicteur unique, réduisant la variance ou le biais pour atteindre une précision qui surpasse celle de n'importe quel membre pris isolément.

Trouver un sujet avec PaperMindBientôtFind papers & topics

Tools & resources

Télécharger les diapositives

Learn & explore

VidéoBientôt

Definition

Une méthode ensembliste entraîne une collection de modèles de base et combine leurs prédictions, par exemple par moyennage ou par vote pondéré ; les ensembles de type bagging réduisent la variance en moyennant les modèles aléatoires, tandis que les ensembles de type boosting réduisent le biais en mettant séquentiellement l'accent sur les exemples précédemment mal classés.

Scope

Ce sujet couvre les techniques qui agrègent plusieurs apprenants : le bagging et l'agrégation par bootstrap, les forêts aléatoires qui aléatorisent à la fois les données et les caractéristiques, et les méthodes de boosting telles qu'AdaBoost et le gradient boosting qui ajustent les modèles séquentiellement pour corriger les erreurs précédentes. Il aborde les raisons pour lesquelles les ensembles réduisent l'erreur, les effets biais-variance de la moyenne par rapport au boosting, et le rôle de la diversité des modèles.

Core questions

Pourquoi la combinaison de nombreux modèles surpasse-t-elle souvent le meilleur modèle unique ?
En quoi le bagging et le boosting diffèrent-ils quant au type d'erreur qu'ils réduisent ?
Quel rôle joue la diversité parmi les apprenants de base ?
Comment le gradient boosting ajuste-t-il les modèles additifs étape par étape ?

Key theories

Bagging et réduction de la variance: Le moyennage des prédictions de modèles entraînés sur des rééchantillons bootstrap réduit la variance sans augmenter significativement le biais, ce qui est particulièrement efficace pour les apprenants de base instables et à forte variance, tels que les arbres de décision profonds.
Forêts aléatoires: Les forêts aléatoires construisent de nombreux arbres décorélés en rééchantillonnant les données et en restreignant aléatoirement les caractéristiques considérées à chaque division, produisant ainsi un ensemble robuste et précis avec des estimations intégrées de l'erreur et de l'importance des caractéristiques.
Le boosting en tant que modélisation additive: Le boosting ajuste les apprenants de base séquentiellement, chacun corrigeant les erreurs résiduelles de l'ensemble actuel, ce qui peut être compris comme une minimisation par étapes d'une fonction de perte et tend à réduire le biais.

Clinical relevance

Les ensembles basés sur des arbres, en particulier les forêts aléatoires et les arbres à gradient boosting, comptent parmi les méthodes les plus fiables et précises pour les données tabulaires et remportent régulièrement des compétitions de prédiction et alimentent des systèmes industriels ; leurs mesures intégrées d'importance des caractéristiques les rendent également utiles pour comprendre quels intrants déterminent une prédiction.

History

Le bagging a été introduit par Breiman en 1996, et AdaBoost par Freund et Schapire peu après a démontré que des apprenants faibles pouvaient être renforcés pour devenir des apprenants forts. Les forêts aléatoires de Breiman en 2001 et les machines de gradient boosting de Friedman ont unifié et étendu ces idées, faisant des ensembles l'approche standard pour les tâches de prédiction structurée.

Key figures

Leo Breiman
Robert Schapire
Yoav Freund
Jerome Friedman

Seminal works

breiman2001
hastie2009
freund1997

Frequently asked questions

Quelle est la différence entre le bagging et le boosting ?: Le bagging entraîne des modèles de base indépendamment sur des données rééchantillonnées et les moyenne pour réduire la variance. Le boosting entraîne les modèles séquentiellement, chaque nouveau modèle se concentrant sur les erreurs de l'ensemble actuel, ce qui réduit le biais. Le bagging se parallélise naturellement ; le boosting est intrinsèquement séquentiel.
Pourquoi les forêts aléatoires sur-apprennent-elles rarement de manière significative ?: Chaque arbre est construit sur un échantillon bootstrap différent en utilisant un sous-ensemble aléatoire de caractéristiques, de sorte que les arbres sont décorélés. Le moyennage de nombreux arbres décorélés annule une grande partie de leur variance individuelle, et l'ajout de plus d'arbres n'augmente pas le surapprentissage.