Regularisert Boosting

Regularisert boosting utvider gradient boosting ved å legge til eksplisitte kontroller — krymping (læringsrate), L1/L2 vektstraffer, sub-sampling og grenser for trekompleksitet — til objektivfunksjonen og oppdateringsregelen. Disse begrensningene reduserer overtilpasning, stabiliserer modellen på støyende eller små datasett, og er hovedgrunnen til at systemer som XGBoost og LightGBM konsekvent overgår ren boosting på virkelige tabulære benchmarks.