Validation croisée
La validation croisée estime la capacité d'un modèle à prédire de nouvelles données en l'ajustant de manière répétée sur une partie de l'échantillon et en mesurant son erreur sur la partie restante mise de côté.
Definition
La validation croisée est une procédure de rééchantillonnage qui estime l'erreur de prédiction hors échantillon d'un modèle en partitionnant les données en sous-ensembles complémentaires, en ajustant le modèle sur certains sous-ensembles et en évaluant l'erreur de prédiction sur les autres, puis en faisant la moyenne sur les partitions.
Scope
Ce sujet couvre la validation croisée par exclusion d'un élément (leave-one-out) et la validation croisée k-fold, les schémas de validation par ensemble de validation et de validation croisée répétée, leur utilisation pour la sélection de modèles et le choix des paramètres d'ajustement, le compromis biais-variance dans l'estimation de l'erreur, et les pièges tels que la fuite d'information (information leakage) et l'optimisme de l'erreur intra-échantillon. Son rôle dans l'évaluation basée sur le rééchantillonnage est souligné.
Core questions
- Comment la mise de côté de données et leur prédiction permet-elle d'estimer l'erreur de généralisation ?
- Quels compromis distinguent la validation croisée par exclusion d'un élément de la validation croisée k-fold ?
- Comment la validation croisée est-elle utilisée pour sélectionner des modèles et ajuster des hyperparamètres ?
- Quelles pratiques, telles que l'évitement de la fuite d'information (information leakage), sont nécessaires pour des estimations valides ?
Key concepts
- Partitionnement k-fold
- Validation croisée par exclusion d'un élément
- Ensemble de validation
- Erreur de généralisation
- Sélection de modèle
- Fuite d'information (information leakage)
Key theories
- Évaluation par validation croisée
- L'ajustement sur une partie des données et l'évaluation sur une partie disjointe fournit une estimation de l'erreur de prédiction qui, moyennée sur les plis, approche l'erreur du modèle sur des données futures indépendantes.
- Biais-variance dans l'estimation de l'erreur
- La validation croisée par exclusion d'un élément est presque sans biais mais peut présenter une variance élevée, tandis que la validation croisée k-fold avec un k modéré échange un léger biais positif contre une variance plus faible, orientant le choix courant de cinq ou dix plis.
Clinical relevance
La validation croisée est l'outil standard pour choisir parmi les modèles, ajuster la régularisation et d'autres hyperparamètres, et rapporter une performance prédictive fiable ; elle est essentielle à l'apprentissage statistique et à la pratique de l'apprentissage automatique dans les sciences basées sur les données.
History
Les idées de validation croisée ont été formalisées par Stone et Geisser en 1974 comme une méthode rigoureuse pour évaluer et choisir des modèles prédictifs ; la croissance explosive de l'apprentissage statistique et automatique a fait de la validation croisée k-fold un choix par défaut courant pour l'évaluation des modèles.
Debates
- Biais et variance de l'estimation par validation croisée
- Il y a une discussion continue sur le nombre de plis à utiliser et sur la manière d'obtenir des estimations d'incertitude valides pour l'erreur validée de manière croisée, étant donné que les plis se chevauchent et que les estimations d'erreur résultantes sont corrélées.
Key figures
- Mervyn Stone
- Seymour Geisser
- Trevor Hastie
- Robert Tibshirani
Related topics
Seminal works
- stone1974
- hastie2009
Frequently asked questions
- Pourquoi ne pas simplement mesurer l'erreur sur les données utilisées pour ajuster le modèle ?
- L'erreur intra-échantillon est optimiste car le modèle a été ajusté à ces données mêmes, ce qui sous-estime l'erreur sur de nouvelles données. La validation croisée évalue les prédictions sur des données que le modèle n'a pas vues pendant l'ajustement, fournissant une estimation plus fiable.
- Combien de plis devrais-je utiliser ?
- Cinq ou dix plis sont des choix courants qui équilibrent le biais et la variance et maintiennent le calcul gérable. La validation croisée par exclusion d'un élément utilise autant de plis que d'observations, ce qui donne un faible biais mais une variance plus élevée et un coût plus important.