Estimation Minimax

Un estimateur minimax minimise le risque le plus élevé qu'il peut encourir, offrant une garantie contre le pire des cas lorsqu'aucune distribution a priori sur le paramètre n'est supposée.

Definition

Une règle de décision minimax est une règle dont le risque maximal sur l'espace des paramètres est aussi faible que celui de toute autre règle ; elle minimise la perte attendue dans le pire des cas et est généralement bayésienne face à une distribution a priori la moins favorable.

Scope

Ce sujet couvre le critère minimax de minimisation du risque dans le pire des cas, les distributions a priori les moins favorables, la caractérisation d'une règle minimax comme une règle de Bayes à risque constant face à une distribution a priori la moins favorable, le théorème du minimax et la valeur de la théorie des jeux du jeu statistique, l'utilisation de distributions a priori limites, et les taux de convergence minimax qui décrivent le meilleur risque réalisable dans les problèmes non paramétriques et de grande dimension.

Core questions

• Que signifie minimiser le risque dans le pire des cas, et quand est-ce un critère approprié ?
• Qu'est-ce qu'une distribution a priori la moins favorable, et comment identifie-t-elle une règle minimax ?
• Pourquoi une règle de Bayes à risque constant est-elle automatiquement minimax ?
• Que sont les taux de convergence minimax dans les problèmes non paramétriques ?

Key theories

Règles minimax et distributions a priori les moins favorables

Une règle qui est bayésienne face à une distribution a priori et qui a un risque constant est minimax, et cette distribution a priori est la moins favorable ; cette caractérisation est le principal outil pour trouver les estimateurs minimax.

Taux de convergence minimax

Dans les problèmes non paramétriques et de grande dimension, le risque minimax diminue à un taux déterminé par la douceur ou la parcimonie de la classe, offrant une référence pour la meilleure précision d'estimation possible.

Clinical relevance

Les taux minimax établissent la référence d'excellence pour la régression non paramétrique, l'estimation de densité et les méthodes de grande dimension, indiquant aux praticiens la meilleure précision atteignable pour une douceur ou une parcimonie donnée et si un estimateur proposé est optimal en termes de taux.

History

Wald a introduit le critère minimax et son interprétation en théorie des jeux dans les années 1940. La théorie des distributions a priori les moins favorables a mûri au milieu du siècle, et Le Cam, Pinsker, ainsi que d'autres auteurs ultérieurs, ont développé les taux minimax pour les problèmes non paramétriques au cours des décennies suivantes.

Key figures

• Abraham Wald
• Lucien Le Cam
• Charles Stein
• James O. Berger

Seminal works

• berger1985

Frequently asked questions

Quand le critère minimax est-il approprié ?

Lorsque la robustesse face au pire des cas est importante et qu'aucune distribution a priori fiable n'est disponible ; il peut être excessivement conservateur si le pire des cas est invraisemblable, il s'agit donc d'un critère parmi plusieurs plutôt que d'une règle universelle.

Qu'est-ce qu'une distribution a priori la moins favorable ?

C'est la distribution a priori qui rend le problème d'estimation le plus difficile, en maximisant le risque de Bayes ; une règle de Bayes face à elle avec un risque constant est minimax, c'est pourquoi la trouver est la clé de l'estimation minimax.