Théorie de l'apprentissage statistique

La théorie de l'apprentissage statistique étudie quand et pourquoi l'apprentissage à partir de données finies se généralise, fournissant ainsi les fondements mathématiques de l'apprentissage automatique.

Definition

La théorie de l'apprentissage statistique est la branche de l'apprentissage automatique qui utilise les probabilités et les statistiques pour analyser les conditions dans lesquelles un modèle ajusté à un échantillon fini fonctionnera bien sur des données non vues, caractérisant le compromis entre l'ajustement des données et le contrôle de la complexité du modèle.

Scope

Ce domaine couvre la théorie de la généralisation : le cadre de la minimisation du risque empirique, les mesures de capacité des modèles telles que la dimension de Vapnik-Chervonenkis, les bornes de généralisation qui relient l'erreur d'entraînement et l'erreur réelle, le compromis biais-variance, et la théorie de l'apprentissage computationnel incluant le modèle probablement approximativement correct (PAC). Elle aborde la question fondamentale de la quantité de données nécessaires pour apprendre de manière fiable.

Sub-topics

• bias variance and overfitting
• computational learning theory
• generalization bounds
• vc dimension and capacity

Core questions

• Quand la minimisation de l'erreur d'entraînement garantit-elle une faible erreur sur de nouvelles données ?
• Comment la capacité ou la complexité d'une classe de modèles est-elle mesurée ?
• Quelle quantité de données est nécessaire pour apprendre un concept avec une précision donnée ?
• Pourquoi une complexité excessive du modèle nuit-elle à la généralisation ?

Key theories

Convergence uniforme et théorie VC

Vapnik et Chervonenkis ont montré que l'erreur empirique converge uniformément vers l'erreur réelle sur une classe de modèles à un taux régi par la capacité de la classe, ce qui constitue le résultat fondamental reliant la complexité à la généralisation.

Minimisation du risque structurel

Plutôt que de simplement minimiser l'erreur d'entraînement, l'apprentissage devrait équilibrer l'ajustement et la capacité, en choisissant une classe de modèles dont la complexité correspond aux données disponibles afin de minimiser une borne sur l'erreur réelle.

Biais-variance et contrôle de la complexité

L'erreur de généralisation reflète un compromis entre le biais des modèles trop simples et la variance des modèles trop flexibles, formalisant ainsi pourquoi la complexité doit être ajustée aux données.

Clinical relevance

La théorie de l'apprentissage statistique explique pourquoi les méthodes d'apprentissage automatique fonctionnent et fournit la justification conceptuelle de la régularisation, de la sélection de modèles et du contrôle de la capacité utilisés dans tout le domaine ; ses bornes, bien que souvent lâches en pratique, influencent la manière dont les praticiens envisagent le surapprentissage, la taille des échantillons et les limites de l'apprentissage.

History

Le domaine a vu le jour avec les travaux de Vapnik et Chervonenkis dans les années 1960 et 1970 sur la convergence uniforme et la capacité, et avec le modèle probablement approximativement correct (PAC) de Valiant en 1984, qui a conceptualisé l'apprentissage comme un problème computationnel. Ces axes, rejoints plus tard par la perspective biais-variance issue des statistiques, constituent le cœur théorique de l'apprentissage automatique.

Debates

Pourquoi les modèles surparamétrés se généralisent-ils ?

La théorie classique prédit que les modèles dont la capacité dépasse largement les données devraient surapprendre, pourtant les très grands réseaux neuronaux généralisent souvent bien, ce qui incite à une réexamen actif de la théorie de la généralisation.

Key figures

• Vladimir Vapnik
• Alexey Chervonenkis
• Leslie Valiant

Seminal works

• vapnik1995
• vapnik1971
• hastie2009

Frequently asked questions

Que cherche à garantir la théorie de l'apprentissage statistique ?

Elle recherche les conditions dans lesquelles une faible erreur sur les données d'entraînement implique une faible erreur sur des données non vues issues de la même distribution. Les garanties prennent la forme de bornes reliant l'erreur réelle à l'erreur d'entraînement et à une mesure de la complexité du modèle.

Pourquoi la complexité du modèle est-elle si importante ?

Une classe de modèles trop complexe peut s'adapter à n'importe quelle donnée d'entraînement, y compris son bruit, et nous renseigne donc peu sur les nouvelles données. La théorie montre que la généralisation dépend de la capacité de la classe, c'est pourquoi le contrôle de la complexité est essentiel pour un apprentissage fiable.