No Parametría Bayesiana
La no parametría bayesiana establece priors sobre objetos de dimensión infinita, como distribuciones y funciones, permitiendo que la complejidad del modelo crezca con los datos en lugar de fijarse de antemano.
Definition
La no parametría bayesiana es la rama de la estadística bayesiana que utiliza distribuciones previas sobre espacios de parámetros de dimensión infinita, de modo que el número efectivo de parámetros puede adaptarse a los datos en lugar de ser establecido por el analista.
Scope
Esta área cubre los priors sobre medidas de probabilidad y funciones: el proceso de Dirichlet y su uso en modelos de mezcla para la estimación de densidad y la agrupación (clustering), los procesos gaussianos para una regresión flexible, y las construcciones de "stick-breaking" y de medida aleatoria que construyen estos priors, junto con los resultados de consistencia posterior.
Sub-topics
Core questions
- ¿Cómo se puede definir un prior sobre un espacio de dimensión infinita como el conjunto de distribuciones?
- ¿Cómo apoya el proceso de Dirichlet la estimación de densidad y la agrupación con un número desconocido de componentes?
- ¿Cómo establecen los procesos gaussianos priors sobre funciones para una regresión flexible?
- ¿Cuándo se concentra la posterior en la verdad a medida que se acumulan los datos?
Key concepts
- proceso de Dirichlet
- proceso gaussiano
- construcción de "stick-breaking"
- medida aleatoria
- modelo de mezcla infinita
- consistencia posterior
- prior no paramétrico
Key theories
- Prior del proceso de Dirichlet
- El proceso de Dirichlet de Ferguson es una distribución sobre medidas de probabilidad que es conjugada para el muestreo, proporcionando el prior no paramétrico fundamental para distribuciones desconocidas.
- Consistencia y tasas posteriores
- Se puede demostrar que los procedimientos bayesianos no paramétricos, bajo ciertas condiciones, se concentran alrededor de la verdadera distribución o función a tasas casi óptimas, proporcionando una justificación frecuentista para los priors.
Clinical relevance
Los modelos bayesianos no paramétricos apoyan la estimación flexible de la densidad, la agrupación con un número desconocido de grupos y la regresión no lineal en genómica, aprendizaje automático y estadística espacial, donde las formas paramétricas rígidas serían demasiado restrictivas.
History
Ferguson introdujo el proceso de Dirichlet en 1973 y la representación de "stick-breaking" de Sethuraman en 1994 lo hizo computacionalmente manejable. Los métodos de procesos gaussianos y una rica teoría de consistencia posterior y tasas de contracción, sintetizados por Ghosal y van der Vaart en 2017, establecieron la no parametría bayesiana como un campo maduro.
Debates
- Influencia del prior en dimensiones infinitas
- En los modelos no paramétricos, el prior nunca se desvanece por completo, por lo que sus suposiciones de concentración y suavidad pueden afectar fuertemente la inferencia, planteando preguntas sobre la robustez y la calibración.
Key figures
- Thomas Ferguson
- David Blackwell
- Jayaram Sethuraman
- Michael Jordan
- Aad van der Vaart
Related topics
Seminal works
- ferguson1973
- ghosal2017
Frequently asked questions
- ¿Significa 'no paramétrico' que no hay parámetros?
- No. Significa que el modelo tiene infinitos parámetros, o equivalentemente un parámetro que es una función o distribución completa, de modo que su complejidad puede crecer con los datos en lugar de fijarse de antemano.