Selección y Diagnóstico de Modelos

La selección y el diagnóstico de modelos son los pasos que determinan qué predictores debe contener un modelo de regresión y si el modelo ajustado es fiable. La selección elige y estructura los predictores; el diagnóstico examina los residuos, las observaciones influyentes y los supuestos; y la validación comprueba si el modelo funciona con datos a partir de los cuales no fue construido. Juntos, protegen contra el sobreajuste y las conclusiones engañosas.

Definition

La selección de modelos es el proceso de decidir qué predictores y formas funcionales incluir en un modelo de regresión; los diagnósticos de modelos son los procedimientos —análisis de residuos, medidas de influencia, evaluación de la bondad de ajuste y calibración, y validación— utilizados para juzgar si el modelo ajustado cumple sus supuestos y se desempeña adecuadamente.

Scope

Esta entrada cubre estrategias para construir un modelo de regresión (incluyendo enfoques paso a paso y de modelo completo, y los peligros de la selección basada en datos), diagnósticos de residuos e influencia para verificar supuestos, medidas de ajuste y rendimiento predictivo como la discriminación y la calibración, y la validación interna y externa. Se aplica a modelos lineales y logísticos y es un tema metodológico, no una guía clínica.

Core questions

• ¿Cómo se eligen los predictores y por qué se critica la selección automática paso a paso?
• ¿Cómo se utilizan los residuos y las observaciones influyentes para verificar un modelo?
• ¿Cuál es la diferencia entre discriminación y calibración?
• ¿Por qué un modelo de predicción debe ser validado en lugar de ser juzgado solo con los datos que lo construyeron?
• ¿Cómo distorsionan el sobreajuste y el optimismo el rendimiento aparente?

Key concepts

• Selección de variables (predictores)
• Selección paso a paso y sus trampas
• Análisis de residuos
• Observaciones influyentes y apalancamiento (leverage)
• Bondad de ajuste
• Discriminación y calibración
• Sobreajuste y optimismo
• Validación interna y externa

Mechanisms

La construcción de un modelo de regresión implica elegir qué predictores se incluyen, en qué forma y si se necesitan interacciones; los procedimientos automatizados paso a paso que añaden o eliminan predictores por significación son ampliamente criticados porque aprovechan el azar, producen modelos inestables y arrojan estimaciones optimistas. Los diagnósticos examinan entonces el modelo ajustado: los gráficos de residuos revelan desviaciones de la linealidad y varianza no constante, y las medidas de influencia identifican observaciones que impulsan desproporcionadamente el ajuste. El rendimiento se juzga por la bondad de ajuste y, para la predicción, por la discriminación (qué tan bien el modelo separa los resultados) y la calibración (qué tan cerca concuerdan los riesgos predichos y observados). Debido a que un modelo ajustado y evaluado con los mismos datos parece mejor de lo que realmente es (optimismo por sobreajuste), se requiere validación interna (por ejemplo, remuestreo) e idealmente validación externa con nuevos datos para estimar un rendimiento honesto.

Clinical relevance

Los modelos diagnósticos y pronósticos informan gran parte de la comunicación del riesgo clínico, y el hecho de que un modelo de este tipo haya sido seleccionado, verificado y validado correctamente determina el peso que merecen sus predicciones. Evaluar estos pasos forma parte de la lectura de estudios de modelos de predicción. Esta entrada describe los métodos y no constituye una base para decisiones diagnósticas o de tratamiento individuales.

Evidence & guidelines

La declaración TRIPOD proporciona estándares de reporte para estudios que desarrollan o validan modelos de predicción multivariables, y la serie de investigación pronóstica del BMJ establece prácticas recomendadas para construir, validar y reportar dichos modelos. El texto de Harrell detalla una estrategia completa de construcción y validación de modelos que enfatiza evitar la selección basada en datos y cuantificar el optimismo.

History

A medida que la regresión se volvió central en la investigación médica, creció la preocupación de que la selección de predictores basada en datos y el ajuste sin control producían modelos que parecían impresionantes en su desarrollo pero fallaban en pacientes nuevos. Desde la década de 1990 en adelante, los metodólogos enfatizaron los diagnósticos, la validación interna y externa, y la distinción entre discriminación y calibración; esto culminó en guías de reporte consensuadas, notablemente la declaración TRIPOD, para estudios de modelos de predicción.

Debates

¿Deberían elegirse los predictores mediante selección automática paso a paso?

La selección paso a paso impulsada por pruebas de significación se desaconseja ampliamente porque sobreajusta, produce conjuntos de predictores inestables y arroja estimaciones sesgadas de forma optimista; generalmente se prefieren los modelos preespecificados informados por el conocimiento del tema, con contracción (shrinkage) y validación adecuada.

¿Por qué se considera esencial la validación externa para los modelos de predicción?

Un modelo evaluado solo con sus datos de desarrollo parece mejor de lo que es debido al sobreajuste; se necesita el rendimiento con datos independientes para juzgar si las predicciones se generalizan, razón por la cual los estándares de reporte enfatizan la validación.

Key figures

• Frank Harrell
• Douglas Altman
• Karel Moons
• Patrick Royston
• Gary Collins

Seminal works

• harrell-2015
• collins-2015-tripod

Frequently asked questions

¿Cuál es la diferencia entre discriminación y calibración?

La discriminación se refiere a qué tan bien un modelo separa a los individuos que tienen el resultado de los que no lo tienen, mientras que la calibración es qué tan cerca coinciden las probabilidades predichas por el modelo con las frecuencias observadas. Un modelo puede discriminar bien y, sin embargo, estar mal calibrado, por lo que ambos aspectos deben evaluarse.

¿Por qué se desaconseja la selección de variables paso a paso?

La selección automática paso a paso aprovecha las asociaciones aleatorias, produce conjuntos de predictores inestables que varían entre muestras y arroja coeficientes y rendimientos sesgados de forma optimista, razón por la cual generalmente se prefieren los modelos preespecificados con una validación adecuada.