Teorema de Bayes y la distribución posterior

El teorema de Bayes expresa la distribución posterior de parámetros desconocidos como proporcional a la verosimilitud de los datos multiplicada por la distribución a priori, lo que constituye el motor de toda inferencia bayesiana.

Definition

El teorema de Bayes establece que la densidad posterior p(theta | y) es igual a la verosimilitud p(y | theta) multiplicada por la distribución a priori p(theta) dividida por la verosimilitud marginal p(y); dado que p(y) no depende de theta, la distribución posterior a menudo se escribe como proporcional a la verosimilitud multiplicada por la distribución a priori.

Scope

Este tema abarca el enunciado y la derivación del teorema de Bayes para la inferencia, la forma de proporcionalidad, la verosimilitud marginal que normaliza la distribución posterior, y cómo se obtienen resúmenes como las medias posteriores, los intervalos de credibilidad y la distribución predictiva posterior.

Core questions

• ¿Cómo se deriva la distribución posterior a partir de la distribución a priori y la verosimilitud?
• ¿Qué es la verosimilitud marginal y por qué actúa como una constante de normalización?
• ¿Cómo se extraen las estimaciones puntuales y los intervalos de credibilidad de una distribución posterior?
• ¿Qué es la distribución predictiva posterior y cómo se calcula?

Key concepts

• a priori
• verosimilitud
• posterior
• verosimilitud marginal
• intervalo de credibilidad
• distribución predictiva posterior
• constante de normalización

Key theories

Proporcionalidad posterior

Dado que la verosimilitud marginal es constante en el parámetro, la inferencia depende solo del producto de la verosimilitud y la distribución a priori hasta la normalización, que es la forma explotada por la mayoría de los métodos computacionales.

Distribución predictiva posterior

Los datos futuros o replicados se predicen promediando la distribución de muestreo sobre la distribución posterior, integrando la incertidumbre de los parámetros en lugar de sustituir una estimación puntual.

Clinical relevance

La inferencia posterior se utiliza siempre que una cantidad de interés debe estimarse con incertidumbre calibrada, incluyendo la interpretación de pruebas diagnósticas, la estimación de parámetros en las ciencias físicas y la previsión probabilística.

History

La regla tiene su origen en el ensayo de Bayes de 1763 y fue generalizada por Laplace en el método de la probabilidad inversa. El énfasis moderno en la distribución posterior completa, en lugar de una única estimación de probabilidad inversa, se consolidó en la literatura bayesiana del siglo XX.

Key figures

• Thomas Bayes
• Pierre-Simon Laplace
• Harold Jeffreys

Seminal works

• gelman2013
• bayes1763

Frequently asked questions

¿Qué es un intervalo de credibilidad?

Un intervalo de credibilidad es un rango que contiene el parámetro con una probabilidad posterior establecida (por ejemplo, 95%); a diferencia de un intervalo de confianza frecuentista, es una declaración de probabilidad directa sobre el parámetro dados los datos y la distribución a priori.

¿Por qué se puede escribir la distribución posterior sin calcular la verosimilitud marginal?

La verosimilitud marginal es una constante con respecto al parámetro, por lo que solo reescala la distribución posterior; muchos algoritmos, como MCMC, solo necesitan la distribución posterior hasta esta constante.