Inferência Probabilística

A inferência probabilística é o cálculo da probabilidade de variáveis de consulta dadas evidências observadas em um modelo probabilístico, a tarefa central de raciocínio em redes Bayesianas e de Markov.

Definition

A inferência probabilística calcula uma distribuição posterior, como a probabilidade de uma ou mais variáveis de consulta condicionadas a evidências observadas, a partir de um modelo probabilístico especificado, seja exatamente ou por aproximação.

Scope

Este tópico abrange os algoritmos que respondem a consultas probabilísticas em modelos gráficos: métodos exatos como eliminação de variáveis, propagação de crenças em árvores e o algoritmo de árvore de junção (árvore de cliques); e métodos aproximados como propagação de crenças em ciclos (loopy belief propagation) e amostragem de Monte Carlo (amostragem por rejeição, ponderação de verossimilhança e Monte Carlo via cadeia de Markov). Ele aborda a dificuldade computacional da inferência e as compensações entre exatidão e escalabilidade. A estrutura dos próprios modelos é abordada em redes Bayesianas.

Core questions

• Como uma probabilidade condicional ou marginal é calculada a partir de um modelo conjunto sem enumerar a distribuição completa?
• Como a eliminação de variáveis explora a fatoração para calcular respostas exatas de forma eficiente?
• Quando a inferência exata é intratável e quais métodos aproximados são usados em seu lugar?
• Como os métodos baseados em amostragem estimam as probabilidades posteriores?

Key concepts

• consultas marginais e condicionais
• eliminação de variáveis
• propagação de crenças (passagem de mensagens)
• árvore de junção e largura de árvore (treewidth)
• propagação de crenças em ciclos (loopy belief propagation)
• amostragem por rejeição e ponderação de verossimilhança
• Monte Carlo via cadeia de Markov
• inferência exata vs. aproximada

Key theories

Propagação de crenças

Em redes com estrutura de árvore, as probabilidades posteriores exatas podem ser calculadas passando mensagens locais entre nós vizinhos; a propagação de crenças de Pearl realiza essa computação distribuída e, aplicada a grafos com ciclos, fornece um método de inferência aproximada amplamente utilizado.

Inferência por árvore de junção (árvore de cliques)

A inferência exata em redes gerais pode ser organizada agrupando variáveis em uma árvore de cliques e propagando mensagens sobre ela, fornecendo respostas corretas em tempo exponencial apenas no maior clique (a largura da árvore).

Inferência aproximada por amostragem

Quando a inferência exata é inviável, métodos de Monte Carlo, como ponderação de verossimilhança e Monte Carlo via cadeia de Markov, extraem amostras consistentes com a evidência para estimar probabilidades posteriores, trocando a exatidão garantida pela escalabilidade.

Clinical relevance

Algoritmos de inferência são o que tornam os modelos probabilísticos utilizáveis: eles alimentam sistemas de diagnóstico e suporte à decisão, códigos de correção de erros (via propagação de crenças), visão computacional, reconhecimento de fala e bioinformática, calculando as probabilidades de variáveis ocultas dados observados.

History

A propagação de crenças de Pearl (década de 1980) forneceu inferência exata para redes em árvore, e o método de árvore de junção de Lauritzen e Spiegelhalter de 1988 estendeu a inferência exata para redes gerais via computações locais em cliques. O reconhecimento de que a inferência exata é NP-difícil em geral estimulou um extenso trabalho em amostragem e aproximações variacionais.

Key figures

• Judea Pearl
• Steffen L. Lauritzen
• David J. Spiegelhalter
• Daphne Koller

Seminal works

• pearl1986
• lauritzen1988

Frequently asked questions

A inferência probabilística é sempre tratável?

Não. A inferência exata em redes Bayesianas gerais é NP-difícil, e seu custo cresce com a largura da árvore da rede. Para redes que são árvores ou têm baixa largura de árvore, a inferência exata é eficiente; caso contrário, métodos aproximados como amostragem ou propagação de crenças em ciclos são usados.

Qual é a diferença entre inferência exata e aproximada?

A inferência exata, como a eliminação de variáveis ou o algoritmo de árvore de junção, calcula as verdadeiras probabilidades posteriores. A inferência aproximada, como a amostragem de Monte Carlo ou a propagação de crenças em ciclos, as estima, o que é necessário quando o cálculo exato é muito caro para um modelo grande ou densamente conectado.