Variationsinferenz

Die Variationsinferenz wandelt die posteriore Approximation in eine Optimierung um, indem sie eine einfachere Verteilung an die posteriore Verteilung anpasst, indem sie eine untere Schranke der marginalen Wahrscheinlichkeit maximiert.

Definition

Die Variationsinferenz approximiert eine unzugängliche posteriore Verteilung, indem sie aus einer handhabbaren Familie von Verteilungen das Element auswählt, das die Kullback-Leibler-Divergenz zur posterioren Verteilung minimiert, oder äquivalent, indem sie die Evidenz-Untergrenze der logarithmischen marginalen Wahrscheinlichkeit maximiert.

Scope

Dieses Thema behandelt das Variationsziel (die Evidenz-Untergrenze), die Mean-Field-Familie und ihre Faktorisierungsannahmen, Koordinatenaufstiegs- und stochastische Gradientenalgorithmen sowie die Kompromisse zwischen Geschwindigkeit und den systematischen Verzerrungen der approximativen Inferenz.

Core questions

• Wie wird die posteriore Approximation als Optimierungsproblem formuliert?
• Was ist die Evidenz-Untergrenze und wie hängt sie mit der KL-Divergenz zusammen?
• Was opfert die Mean-Field-Annahme zugunsten der Handhabbarkeit?
• Wie skalieren stochastische und Black-Box-Methoden die Variationsinferenz auf große Datenmengen?

Key concepts

• Evidenz-Untergrenze
• Kullback-Leibler-Divergenz
• Mean-Field-Familie
• Koordinatenaufstiegs-Variationsinferenz
• stochastische Variationsinferenz
• Black-Box-Variationsinferenz
• Unterschätzung der Varianz

Key theories

Evidenz-Untergrenze

Die Maximierung der ELBO ist äquivalent zur Minimierung der KL-Divergenz von der Approximation zur posterioren Verteilung, wodurch die Inferenz als handhabbare Optimierung über eine gewählte Familie neu formuliert wird.

Mean-Field-Approximation

Die Annahme, dass die approximative posteriore Verteilung über Parameterblöcke faktorisiert, führt zu geschlossenen Koordinatenaufstiegs-Updates, neigt jedoch dazu, die posteriore Varianz zu unterschätzen und Abhängigkeiten zu ignorieren.

Clinical relevance

Die Variationsinferenz skaliert Bayes'sche Methoden auf große Datensätze und komplexe Modelle in der Textanalyse, Genomik und im Deep Learning, wo die Kosten einer vollständigen MCMC prohibitiv wären und eine schnelle approximative posteriore Verteilung ausreicht.

History

Variationsmethoden fanden in den späten 1990er Jahren durch Mean-Field-Approximationen für grafische Modelle Eingang in das maschinelle Lernen. Stochastische und automatische Variationsinferenz in den 2010er Jahren, die von Blei und Kollegen im Jahr 2017 untersucht wurden, brachten skalierbare approximative Bayes'sche Inferenz in die Mainstream-Statistik und das probabilistische Programmieren.

Debates

Verzerrung approximativer posteriorer Verteilungen

Die Variationsinferenz ist schnell, aber ihr KL-Ziel unterschätzt systematisch die Unsicherheit, so dass die Zuverlässigkeit ihrer approximativen posteriorer Verteilungen im Vergleich zur asymptotisch exakten MCMC umstritten ist.

Key figures

• Michael Jordan
• Zoubin Ghahramani
• David Blei
• Tommi Jaakkola

Seminal works

• blei2017
• jordan1999

Frequently asked questions

Wann sollte ich Variationsinferenz anstelle von MCMC verwenden?

Variationsinferenz ist attraktiv, wenn Datensätze oder Modelle zu groß sind, um MCMC praktikabel zu machen, und eine schnelle, approximative posteriore Verteilung akzeptabel ist; MCMC bleibt vorzuziehen, wenn eine genaue Quantifizierung der Unsicherheit unerlässlich ist, da Variationsmethoden dazu neigen, die posteriore Varianz zu unterschätzen.