Inferencia variacional

La inferencia variacional convierte la aproximación posterior en optimización, ajustando una distribución más simple a la posterior al maximizar un límite inferior de la verosimilitud marginal.

Definition

La inferencia variacional aproxima una posterior intratable seleccionando, de una familia de distribuciones tratable, el miembro que minimiza la divergencia de Kullback-Leibler a la posterior, equivalentemente maximizando el límite inferior de la evidencia en la verosimilitud marginal logarítmica.

Scope

Este tema cubre el objetivo variacional (el límite inferior de la evidencia), la familia de campo medio y sus suposiciones de factorización, los algoritmos de ascenso de coordenadas y de gradiente estocástico, y las compensaciones entre la velocidad y los sesgos sistemáticos de la inferencia aproximada.

Core questions

• ¿Cómo se enmarca la aproximación posterior como un problema de optimización?
• ¿Qué es el límite inferior de la evidencia y cómo se relaciona con la divergencia KL?
• ¿Qué sacrifica la suposición de campo medio a cambio de la tratabilidad?
• ¿Cómo escalan los métodos estocásticos y de caja negra la inferencia variacional a grandes volúmenes de datos?

Key concepts

• límite inferior de la evidencia
• divergencia de Kullback-Leibler
• familia de campo medio
• inferencia variacional de ascenso de coordenadas
• inferencia variacional estocástica
• inferencia variacional de caja negra
• subestimación de la varianza

Key theories

Límite inferior de la evidencia

Maximizar el ELBO es equivalente a minimizar la divergencia KL de la aproximación a la posterior, reformulando la inferencia como una optimización tratable sobre una familia elegida.

Aproximación de campo medio

Asumir que la posterior aproximada factoriza a través de bloques de parámetros produce actualizaciones de ascenso de coordenadas de forma cerrada, pero tiende a subestimar la varianza posterior e ignorar las dependencias.

Clinical relevance

La inferencia variacional escala los métodos bayesianos a grandes conjuntos de datos y modelos complejos en el análisis de texto, la genómica y el aprendizaje profundo, donde el costo de un MCMC completo sería prohibitivo y una aproximación posterior rápida es suficiente.

History

Los métodos variacionales entraron en el aprendizaje automático a través de las aproximaciones de campo medio para modelos gráficos a finales de la década de 1990. La inferencia variacional estocástica y automática en la década de 2010, revisada por Blei y sus colegas en 2017, llevó la inferencia bayesiana aproximada escalable a la estadística convencional y la programación probabilística.

Debates

Sesgo de las posteriores aproximadas

La inferencia variacional es rápida, pero su objetivo KL subestima sistemáticamente la incertidumbre, por lo que se debate la fiabilidad de sus posteriores aproximadas en relación con el MCMC asintóticamente exacto.

Key figures

• Michael Jordan
• Zoubin Ghahramani
• David Blei
• Tommi Jaakkola

Seminal works

• blei2017
• jordan1999

Frequently asked questions

¿Cuándo se debería usar la inferencia variacional en lugar de MCMC?

La inferencia variacional es atractiva cuando los conjuntos de datos o los modelos son demasiado grandes para que MCMC sea factible y una posterior rápida y aproximada es aceptable; MCMC sigue siendo preferible cuando la cuantificación precisa de la incertidumbre es esencial, porque los métodos variacionales tienden a subestimar la varianza posterior.