Límites de Generalización

Los límites de generalización proporcionan garantías probabilísticas sobre cuánto puede exceder el error verdadero de un modelo a su error de entrenamiento, en términos del tamaño de la muestra y la capacidad del modelo.

Definition

Un límite de generalización es una desigualdad que establece que, con alta probabilidad sobre la muestra de entrenamiento aleatoria, el error verdadero de un modelo aprendido es como máximo su error de entrenamiento más un término que crece con la capacidad del modelo y disminuye con el tamaño de la muestra, certificando cuánto se puede confiar en el modelo con datos no vistos.

Scope

Este tema cubre los límites teóricos de la generalización: límites de convergencia uniforme basados en la dimensión de Vapnik-Chervonenkis, medidas de complejidad como la complejidad de Rademacher, límites basados en el margen, y la noción de complejidad de la muestra probablemente aproximadamente correcta. Aborda cómo estos límites dependen del tamaño y la capacidad de los datos y por qué tienden a ser imprecisos en la práctica.

Core questions

• ¿Cómo se limita el error verdadero en términos del error de entrenamiento y la capacidad?
• ¿Cómo mejora el límite a medida que crece la muestra?
• ¿Qué medidas de complejidad aparecen en los límites modernos?
• ¿Por qué los límites de generalización suelen ser imprecisos para los modelos reales?

Key theories

Límites de convergencia uniforme

Los límites basados en la dimensión de Vapnik-Chervonenkis garantizan que, con alta probabilidad, el error de entrenamiento se aproxima al error verdadero de manera uniforme en toda la clase de modelos, con la brecha disminuyendo a medida que la raíz cuadrada del tamaño de la muestra sobre la capacidad.

Límites basados en el margen y la complejidad

Los refinamientos que utilizan el margen de clasificación o la complejidad de Rademacher proporcionan límites más ajustados y dependientes de los datos que explican mejor el éxito de los clasificadores de gran margen.

Complejidad de la muestra

Los límites se traducen en complejidad de la muestra, el número de ejemplos necesarios para aprender con una precisión y confianza objetivo, haciendo explícitos los requisitos de datos del aprendizaje.

Clinical relevance

Los límites de generalización proporcionan la garantía formal detrás de la promesa central del aprendizaje automático, que el ajuste de datos conduce a la predicción en nuevos datos, y motivan la regularización y el control de la capacidad; aunque generalmente son demasiado imprecisos para predecir el error exacto, capturan la dependencia cualitativa del tamaño y la complejidad de los datos que guía la práctica.

History

Los primeros límites generales provinieron de los resultados de convergencia uniforme de Vapnik y Chervonenkis, posteriormente perfeccionados por análisis basados en el margen y la complejidad de Rademacher. El marco probablemente aproximadamente correcto reformuló estos como declaraciones de complejidad de la muestra, y trabajos recientes buscan límites que expliquen la generalización de modelos altamente sobreparametrizados.

Key figures

• Vladimir Vapnik
• Alexey Chervonenkis
• Peter Bartlett

Seminal works

• vapnik1971
• vapnik1995
• hastie2009

Frequently asked questions

¿Qué le dice un límite de generalización?

Dice que, con alta probabilidad, el error del modelo en datos no vistos no excederá su error de entrenamiento en más de una cantidad que depende de cuán compleja sea la clase de modelos y cuántos datos se utilizaron. Más datos y menor capacidad ajustan la garantía.

¿Por qué estos límites suelen ser demasiado imprecisos para usarse directamente?

Los límites clásicos son de peor caso y libres de distribución, por lo que son válidos para cualquier distribución de datos y cualquier modelo de la clase. Esta generalidad los hace pesimistas, a menudo prediciendo brechas de error mucho mayores de las que se observan en la práctica, por lo que se utilizan más para obtener información que para números exactos.