Bagging Ensemble

Bagging, kortweg bootstrap aggregating, is een ensemble-methode die de variantie reduceert door meerdere kopieën van een enkel leeralgoritme te trainen op verschillende willekeurige deelverzamelingen van de trainingsdata. Elke deelverzameling wordt gecreëerd via bootstrap sampling—willekeurig trekken van samples met teruglegging. Voorspellingen worden gecombineerd via meerderheidsstemming (classificatie) of middeling (regressie). Geïntroduceerd door Leo Breiman in 1996, vormt bagging de basis voor random forests en is het bijzonder effectief voor het reduceren van overfitting in modellen met hoge variantie.