Variationelle Inferenz

Variational Inference (VI) ist eine Familie von Techniken, die die Berechnung der bayesschen A-posteriori-Verteilung in ein Optimierungsproblem umwandeln. Anstatt Stichproben aus der exakten A-posteriori-Verteilung zu ziehen – wie es Markov-Chain-Monte-Carlo (MCMC) tut – postuliert VI eine einfachere, handhabbare Familie von Verteilungen und findet das Mitglied dieser Familie, das der wahren A-posteriori-Verteilung am nächsten kommt, indem die Evidence Lower Bound (ELBO) maximiert wird. Eingeführt in seiner modernen Form für grafische Modelle von Jordan, Ghahramani, Jaakkola und Saul (1999) und umfassend statistisch von Blei, Kucukelbir und McAuliffe (2017) behandelt, ist VI heute die Standard-Skalierungs-Inferenz-Engine im probabilistischen maschinellen Lernen.