Вариационный вывод

Вариационный вывод (VI) — это семейство методов, которые преобразуют вычисление апостериорного распределения Байеса в задачу оптимизации. Вместо того чтобы извлекать выборки из точного апостериорного распределения — как это делает метод Монте-Карло по схеме Маркова — VI постулирует более простое, поддающееся аналитическому описанию семейство распределений и находит члена этого семейства, наиболее близкого к истинному апостериорному распределению, максимизируя нижнюю границу свидетельства (ELBO). Введенный в своей современной форме на основе графических моделей Джорданом, Гахрамани, Яакколой и Солом (Jordan, Ghahramani, Jaakkola and Saul, 1999) и получивший всестороннее статистическое описание от Блея, Кукукельбира и Маколиффа (Blei, Kucukelbir and McAuliffe, 2017), VI в настоящее время является стандартным масштабируемым механизмом вывода в вероятностном машинном обучении.