Non-paramétrique bayésien
Le non-paramétrique bayésien définit des a priori sur des objets de dimension infinie tels que des distributions et des fonctions, permettant à la complexité du modèle de croître avec les données au lieu d'être fixée à l'avance.
Definition
Le non-paramétrique bayésien est la branche des statistiques bayésiennes qui utilise des distributions a priori sur des espaces de paramètres de dimension infinie, de sorte que le nombre effectif de paramètres peut s'adapter aux données plutôt que d'être fixé par l'analyste.
Scope
Ce domaine couvre les a priori sur les mesures de probabilité et les fonctions : le processus de Dirichlet et son utilisation dans les modèles de mélange pour l'estimation de densité et le regroupement, les processus gaussiens pour la régression flexible, et les constructions par bâtons brisés (stick-breaking) et par mesures aléatoires qui bâtissent ces a priori, ainsi que les résultats de cohérence a posteriori.
Sub-topics
Core questions
- Comment un a priori peut-il être défini sur un espace de dimension infinie tel que l'ensemble des distributions ?
- Comment le processus de Dirichlet permet-il l'estimation de densité et le regroupement avec un nombre inconnu de composantes ?
- Comment les processus gaussiens définissent-ils des a priori sur les fonctions pour une régression flexible ?
- Quand la distribution a posteriori se concentre-t-elle sur la vérité à mesure que les données s'accumulent ?
Key concepts
- Processus de Dirichlet
- Processus gaussien
- Construction par bâtons brisés
- Mesure aléatoire
- Modèle de mélange infini
- Cohérence a posteriori
- A priori non-paramétrique
Key theories
- A priori du processus de Dirichlet
- Le processus de Dirichlet de Ferguson est une distribution sur les mesures de probabilité qui est conjuguée pour l'échantillonnage, fournissant l'a priori non-paramétrique fondamental pour les distributions inconnues.
- Cohérence a posteriori et taux
- Il peut être montré que les procédures bayésiennes non-paramétriques, sous certaines conditions, se concentrent autour de la vraie distribution ou fonction à des taux quasi-optimaux, fournissant une justification fréquentiste pour les a priori.
Clinical relevance
Les modèles bayésiens non-paramétriques permettent une estimation flexible de la densité, le regroupement avec un nombre inconnu de groupes, et la régression non linéaire en génomique, en apprentissage automatique et en statistiques spatiales, où des formes paramétriques rigides seraient trop restrictives.
History
Ferguson a introduit le processus de Dirichlet en 1973 et la représentation par bâtons brisés (stick-breaking) de Sethuraman en 1994 l'a rendu traitable sur le plan computationnel. Les méthodes basées sur les processus gaussiens et une riche théorie de la cohérence a posteriori et des taux de contraction, synthétisée par Ghosal et van der Vaart en 2017, ont établi le non-paramétrique bayésien comme un domaine mature.
Debates
- Influence de l'a priori en dimensions infinies
- Dans les modèles non-paramétriques, l'a priori ne s'estompe jamais complètement, de sorte que ses hypothèses de concentration et de régularité peuvent fortement affecter l'inférence, soulevant des questions concernant la robustesse et la calibration.
Key figures
- Thomas Ferguson
- David Blackwell
- Jayaram Sethuraman
- Michael Jordan
- Aad van der Vaart
Related topics
Seminal works
- ferguson1973
- ghosal2017
Frequently asked questions
- Le terme « non-paramétrique » signifie-t-il qu'il n'y a pas de paramètres ?
- Non. Cela signifie que le modèle a une infinité de paramètres, ou, de manière équivalente, un paramètre qui est une fonction ou une distribution entière, de sorte que sa complexité peut croître avec les données plutôt que d'être fixée à l'avance.