Inferência Variacional

A inferência variacional transforma a aproximação posterior em otimização, ajustando uma distribuição mais simples à posterior, maximizando um limite inferior na verossimilhança marginal.

Definition

A inferência variacional aproxima uma posterior intratável selecionando, a partir de uma família tratável de distribuições, o membro que minimiza a divergência de Kullback-Leibler para a posterior, equivalentemente maximizando o limite inferior da evidência na verossimilhança marginal logarítmica.

Scope

Este tópico abrange o objetivo variacional (o limite inferior da evidência), a família de campo médio e suas suposições de fatoração, algoritmos de ascensão de coordenadas e gradiente estocástico, e as compensações entre velocidade e os vieses sistemáticos da inferência aproximada.

Core questions

• Como a aproximação posterior é enquadrada como um problema de otimização?
• O que é o limite inferior da evidência e como ele se relaciona com a divergência KL?
• O que a suposição de campo médio sacrifica em troca da tratabilidade?
• Como os métodos estocásticos e de caixa preta escalam a inferência variacional para grandes dados?

Key concepts

• limite inferior da evidência
• divergência de Kullback-Leibler
• família de campo médio
• inferência variacional de ascensão de coordenadas
• inferência variacional estocástica
• inferência variacional de caixa preta
• subestimação da variância

Key theories

Limite inferior da evidência

Maximizar o ELBO é equivalente a minimizar a divergência KL da aproximação para a posterior, reformulando a inferência como uma otimização tratável sobre uma família escolhida.

Aproximação de campo médio

Assumir que a posterior aproximada fatoriza entre blocos de parâmetros produz atualizações de ascensão de coordenadas de forma fechada, mas tende a subestimar a variância posterior e ignorar dependências.

Clinical relevance

A inferência variacional escala métodos Bayesianos para grandes conjuntos de dados e modelos complexos em análise de texto, genômica e aprendizado profundo, onde o custo de MCMC completo seria proibitivo e uma posterior aproximada rápida é suficiente.

History

Os métodos variacionais entraram no aprendizado de máquina através de aproximações de campo médio para modelos gráficos no final da década de 1990. A inferência variacional estocástica e automática na década de 2010, pesquisada por Blei e colegas em 2017, trouxe inferência Bayesiana aproximada escalável para a estatística mainstream e programação probabilística.

Debates

Viés das posteriores aproximadas

A inferência variacional é rápida, mas seu objetivo KL subestima sistematicamente a incerteza, então a confiabilidade de suas posteriores aproximadas em relação ao MCMC assintoticamente exato é debatida.

Key figures

• Michael Jordan
• Zoubin Ghahramani
• David Blei
• Tommi Jaakkola

Seminal works

• blei2017
• jordan1999

Frequently asked questions

Quando devo usar inferência variacional em vez de MCMC?

A inferência variacional é atraente quando os conjuntos de dados ou modelos são muito grandes para que o MCMC seja viável e uma posterior rápida e aproximada seja aceitável; o MCMC permanece preferível quando a quantificação precisa da incerteza é essencial, porque os métodos variacionais tendem a subestimar a variância posterior.