Validation croisée et rééchantillonnage
La validation croisée et le rééchantillonnage estiment l'erreur de généralisation d'un modèle en partitionnant ou en rééchantillonnant de manière répétée les données disponibles, ce qui permet une utilisation efficace des ensembles de données limités.
Definition
La validation croisée estime l'erreur de généralisation en partitionnant les données en plis (folds), en entraînant sur certains plis et en testant sur le pli mis de côté, puis en faisant la moyenne sur les rotations ; le rééchantillonnage, plus largement, y compris le bootstrap, tire de manière répétée des sous-ensembles de données pour estimer la performance et la variabilité d'une procédure d'apprentissage.
Scope
Ce sujet aborde les méthodes de réutilisation des données pour l'évaluation des modèles : la division entraînement-test, la validation croisée k-fold et par exclusion d'un échantillon (leave-one-out), la validation croisée stratifiée et imbriquée pour l'ajustement, et le bootstrap pour l'estimation de l'incertitude. Il traite du biais et de la variance de ces estimateurs ainsi que des pièges tels que la fuite de données (data leakage) qui peuvent les invalider.
Core questions
- Comment la validation croisée k-fold estime-t-elle l'erreur de généralisation ?
- Quels sont les compromis biais-variance des différents nombres de plis ?
- Comment la validation croisée imbriquée maintient-elle la séparation entre l'ajustement et l'évaluation ?
- Comment le bootstrap estime-t-il la variabilité d'une estimation ?
Key theories
- Validation croisée k-fold
- Diviser les données en k plis et faire tourner le pli mis de côté donne une estimation de l'erreur de généralisation qui utilise toutes les données pour l'entraînement et le test, échangeant le coût de calcul contre une estimation plus fiable.
- Validation croisée imbriquée
- Lorsque les hyperparamètres sont ajustés, une boucle de validation croisée interne les sélectionne et une boucle externe évalue la performance, prévenant ainsi le biais optimiste qui résulte de l'ajustement et de l'évaluation sur les mêmes données.
- Le bootstrap
- Le rééchantillonnage des données avec remplacement de nombreuses fois estime la distribution d'échantillonnage d'une statistique ou de la performance d'un modèle, fournissant des intervalles de confiance et des estimations d'erreur sans hypothèses distributionnelles.
Clinical relevance
La validation croisée est l'outil standard pour estimer la performance des modèles et sélectionner les modèles lorsque les données sont limitées, et le bootstrap est largement utilisé pour quantifier l'incertitude ; les appliquer de manière incorrecte, par exemple en laissant des informations de test s'infiltrer dans l'entraînement ou en ajustant sur les données d'évaluation, est une cause fréquente et sérieuse de résultats surestimés.
History
La validation croisée a été développée comme méthode formelle d'estimation de l'erreur de prédiction par Stone et Geisser dans les années 1970. Efron a introduit le bootstrap en 1979, et ensemble, ces méthodes de rééchantillonnage sont devenues indispensables pour l'évaluation et l'estimation de l'incertitude en statistique et en apprentissage automatique.
Key figures
- Mervyn Stone
- Bradley Efron
- Robert Tibshirani
Related topics
Seminal works
- hastie2009
- efron1993
- murphy2012
Frequently asked questions
- Que fait la validation croisée k-fold ?
- Elle divise les données en k parties égales, puis entraîne le modèle k fois, chaque fois en mettant de côté une partie différente pour le test et en utilisant le reste pour l'entraînement. La moyenne des k résultats de test donne une estimation de la performance du modèle sur des données non vues.
- Pourquoi la validation croisée imbriquée est-elle parfois nécessaire ?
- Si vous ajustez les hyperparamètres et mesurez la performance avec la même validation croisée, l'estimation est optimiste car les choix ont été ajustés à ces données. La validation croisée imbriquée utilise une boucle interne pour l'ajustement et une boucle externe pour l'évaluation, maintenant les deux séparés.