Sesgo-Varianza y Sobreajuste

La compensación entre sesgo y varianza explica cómo la complejidad del modelo controla el error de predicción, siendo el sobreajuste y el subajuste los dos modos de fallo que un aprendiz debe equilibrar.

Definition

La compensación entre sesgo y varianza es el principio según el cual el error de predicción esperado se descompone en sesgo, el error resultante de que un modelo sea demasiado simple para capturar la verdad, y varianza, el error resultante de que un modelo sea demasiado sensible a la muestra de entrenamiento particular, con la complejidad del modelo moviendo el error entre ambos.

Scope

Este tema cubre la descomposición del error de predicción esperado en sesgo, varianza y ruido irreducible; el significado del sobreajuste y el subajuste; y el papel de la regularización en el cambio del equilibrio. También aborda la curva de error clásica en forma de U y las observaciones recientes de doble descenso en modelos altamente sobreparametrizados.

Core questions

• ¿Cómo se descompone el error esperado en sesgo, varianza y ruido?
• ¿Qué caracteriza el sobreajuste frente al subajuste?
• ¿Cómo desplaza la regularización el equilibrio sesgo-varianza?
• ¿Por qué los modelos muy flexibles a veces pueden generalizar a pesar de su alta capacidad?

Key theories

Descomposición sesgo-varianza

Para la pérdida de error cuadrático, el error esperado se divide en sesgo al cuadrado, varianza y ruido irreducible, haciendo explícito cómo las suposiciones simplificadoras reducen la varianza a costa del sesgo y viceversa.

Sobreajuste y regularización

El sobreajuste ocurre cuando un modelo captura ruido en lugar de señal; la regularización penaliza la complejidad para reducir la varianza, intercambiando un pequeño aumento en el sesgo por una mayor disminución en la varianza.

Más allá de la compensación clásica

En regímenes muy sobreparametrizados, el error puede disminuir nuevamente más allá del punto de interpolación, el fenómeno de doble descenso, lo que complica la imagen clásica de una única curva en forma de U.

Clinical relevance

La compensación entre sesgo y varianza es el núcleo práctico del ajuste de modelos, guiando las elecciones del tamaño del modelo, la fuerza de regularización y el número de características para minimizar el error en nuevos datos; diagnosticar si un modelo está subajustado o sobreajustado es un paso rutinario y esencial en el aprendizaje automático aplicado.

History

La descomposición sesgo-varianza fue articulada para redes neuronales y aprendizaje por Geman y sus colegas alrededor de 1992 y se convirtió en una lente estándar en estadística y aprendizaje automático. La teoría de la regularización formalizó el control de la complejidad, y los recientes hallazgos de doble descenso han provocado un reexamen de la compensación para los modelos sobreparametrizados modernos.

Key figures

• Stuart Geman
• Trevor Hastie
• Christopher Bishop

Seminal works

• hastie2009
• bishop2006
• geman1992

Frequently asked questions

¿Cuál es la diferencia entre sobreajuste y subajuste?

El subajuste ocurre cuando un modelo es demasiado simple para capturar el patrón subyacente, lo que resulta en un alto sesgo y un rendimiento deficiente incluso en los datos de entrenamiento. El sobreajuste ocurre cuando un modelo es tan flexible que se ajusta al ruido en los datos de entrenamiento, lo que resulta en una alta varianza y un rendimiento deficiente en datos nuevos.

¿Cómo ayuda la regularización?

La regularización añade una penalización a la complejidad del modelo, desalentando parámetros extremos o numerosos. Esto reduce la varianza, generalmente a costa de un pequeño aumento en el sesgo, y por lo tanto disminuye el error total en datos no vistos cuando la complejidad sería de otro modo demasiado alta.