Validación Cruzada

La validación cruzada estima qué tan bien un modelo predecirá nuevos datos ajustándolo repetidamente en una parte de la muestra y midiendo su error en el resto excluido.

Definition

La validación cruzada es un procedimiento de remuestreo que estima el error predictivo fuera de la muestra de un modelo al dividir los datos en subconjuntos complementarios, ajustando en algunos subconjuntos y evaluando el error de predicción en los otros, y promediando sobre las particiones.

Scope

Este tema cubre la validación cruzada de dejar uno fuera y k-fold, los esquemas de conjunto de validación y validación cruzada repetida, su uso para la selección de modelos y la elección de parámetros de ajuste, la compensación sesgo-varianza en la estimación del error y trampas como la fuga de información y el optimismo del error dentro de la muestra. Se enfatiza su papel en la evaluación basada en remuestreo.

Core questions

• ¿Cómo la retención de datos y su predicción estiman el error de generalización?
• ¿Qué compensaciones distinguen la validación cruzada de dejar uno fuera de la k-fold?
• ¿Cómo se utiliza la validación cruzada para seleccionar modelos y ajustar hiperparámetros?
• ¿Qué prácticas, como evitar la fuga de información, son necesarias para obtener estimaciones válidas?

Key concepts

• Particionamiento k-fold
• Validación cruzada de dejar uno fuera
• Conjunto de validación
• Error de generalización
• Selección de modelos
• Fuga de información

Key theories

Evaluación mediante validación cruzada

El ajuste en una parte de los datos y la evaluación en una parte disjunta proporciona una estimación del error de predicción que, promediada sobre los pliegues, se aproxima al error del modelo en datos futuros independientes.

Sesgo-varianza en la estimación del error

La validación cruzada de dejar uno fuera es casi insesgada pero puede tener una varianza alta, mientras que la k-fold con un k moderado intercambia un pequeño sesgo al alza por una varianza más baja, guiando la elección común de cinco o diez pliegues.

Clinical relevance

La validación cruzada es la herramienta estándar para elegir entre modelos, ajustar la regularización y otros hiperparámetros, e informar un rendimiento predictivo honesto; es fundamental para el aprendizaje estadístico y la práctica del aprendizaje automático en todas las ciencias basadas en datos.

History

Las ideas de validación cruzada fueron formalizadas por Stone y Geisser en 1974 como una forma fundamentada de evaluar y elegir modelos predictivos; el crecimiento explosivo del aprendizaje estadístico y automático hizo de la validación cruzada k-fold un valor predeterminado rutinario para la evaluación de modelos.

Debates

Sesgo y varianza de la estimación de validación cruzada

Existe una discusión continua sobre cuántos pliegues usar y cómo obtener estimaciones de incertidumbre válidas para el error validado cruzadamente, ya que los pliegues se superponen y las estimaciones de error resultantes están correlacionadas.

Key figures

• Mervyn Stone
• Seymour Geisser
• Trevor Hastie
• Robert Tibshirani

Seminal works

• stone1974
• hastie2009

Frequently asked questions

¿Por qué no simplemente medir el error en los datos utilizados para ajustar el modelo?

El error dentro de la muestra es optimista porque el modelo ha sido ajustado a esos mismos datos, por lo que subestima el error en datos nuevos. La validación cruzada evalúa las predicciones en datos que el modelo no vio durante el ajuste, lo que proporciona una estimación más honesta.

¿Cuántos pliegues debo usar?

Cinco o diez pliegues son opciones comunes que equilibran el sesgo y la varianza y mantienen el cálculo manejable. Dejar uno fuera utiliza tantos pliegues como observaciones, lo que da un sesgo bajo pero una varianza más alta y un mayor costo.