Gradient Boosting Machine (Ensemble of Additive Decision Trees)

En lloc de construir molts arbres en paral·lel i fer-ne la mitjana (com fa Random Forest), gradient boosting construeix arbres un a un. Cada nou arbre se centra específicament en els errors que el model actual encara està cometent — els residuals. Aquest procés de correcció seqüencial és anàleg al descens de gradient en optimització ordinària, però realitzat en l'espai de funcions de predicció en lloc de l'espai de paràmetres. La predicció final és la suma de moltes correccions febles, cadascuna acostant l'ensemble a l'objectiu real. Una taxa d'aprenentatge petita obliga el model a fer passos cautelosos, cosa que el regularitza i normalment produeix una millor generalització.