Optimisation en statistique
L'optimisation en statistique étudie les méthodes numériques qui permettent de trouver les valeurs des paramètres maximisant une vraisemblance ou minimisant une fonction de perte, ce qui correspond à la manière dont la plupart des modèles statistiques sont ajustés aux données.
Definition
L'optimisation en statistique est le développement et l'analyse d'algorithmes numériques qui permettent de localiser le maximiseur d'une vraisemblance ou le minimiseur d'une fonction de perte ou d'une fonction objective pénalisée afin d'estimer les paramètres d'un modèle statistique.
Scope
Ce domaine couvre les problèmes d'optimisation qui se posent en estimation, notamment l'estimation par maximum de vraisemblance et l'estimation pénalisée, ainsi que les algorithmes qui les résolvent : l'algorithme espérance-maximisation (EM) pour les modèles à variables latentes et à données manquantes, les méthodes de Newton-Raphson, quasi-Newton et de Fisher-scoring, et l'optimisation stochastique pour les grandes bases de données et les fonctions objectives bruitées. L'accent est mis sur la structure statistique qui détermine le choix de l'algorithme.
Sub-topics
Core questions
- Comment l'estimation statistique est-elle formulée comme un problème d'optimisation ?
- Quels algorithmes exploitent la structure des vraisemblances et des modèles à variables latentes ?
- Comment l'information sur la courbure et les stratégies de taille de pas affectent-elles la convergence ?
- Comment l'optimisation est-elle adaptée aux ensembles de données massifs et aux fonctions objectives bruitées ?
Key theories
- Maximisation de la vraisemblance
- L'estimation des paramètres par maximisation de la vraisemblance transforme l'inférence en optimisation, les équations de score servant de conditions de stationnarité et l'information observée ou attendue régissant la courbure locale et la vitesse de convergence.
- Algorithmes exploitant la structure
- Des méthodes telles que l'espérance-maximisation, Newton-Raphson et le Fisher-scoring exploitent la forme particulière des fonctions objectives statistiques, tandis que les méthodes quasi-Newton et stochastiques étendent ces idées aux grandes dimensions et aux grands échantillons.
Clinical relevance
L'ajustement des modèles linéaires généralisés, des modèles de mélange, des modèles de Markov cachés, des réseaux de neurones et des régressions pénalisées se ramène à l'optimisation ; ainsi, des optimiseurs fiables déterminent si une analyse statistique converge, à quelle vitesse elle s'exécute et si elle atteint une estimation significative.
History
L'optimisation numérique s'est développée en mathématiques appliquées, mais la statistique a développé sa propre boîte à outils autour de la vraisemblance : le Fisher-scoring au début du XXe siècle, le cadre unificateur de l'espérance-maximisation en 1977, et les méthodes de gradient stochastique qui sont devenues centrales à mesure que les ensembles de données et les modèles devenaient volumineux.
Key figures
- Kenneth Lange
- Arthur Dempster
- Jorge Nocedal
- Stephen Wright
Related topics
Seminal works
- givens2013
- lange2010
Frequently asked questions
- Pourquoi une si grande partie de la statistique est-elle en réalité de l'optimisation ?
- La plupart des estimateurs sont définis comme la valeur qui maximise une vraisemblance ou minimise une fonction de perte. Le calcul de l'estimation implique donc la résolution d'un problème d'optimisation, et le choix de l'algorithme affecte à la fois la vitesse et la capacité à trouver l'optimum correct.
- Pourquoi existe-t-il des méthodes d'optimisation spécifiques à la statistique ?
- Les fonctions objectives statistiques possèdent une structure, telle qu'une vraisemblance construite à partir d'observations indépendantes ou un modèle avec des variables latentes, que des algorithmes spécialisés comme le Fisher-scoring et l'espérance-maximisation exploitent pour une stabilité et une vitesse supérieures à ce que les optimiseurs génériques peuvent offrir.