Automatic Differentiation Variational Inference (ADVI)

Automatic Differentiation Variational Inference (ADVI) เป็นอัลกอริทึมแบบกล่องดำ (black-box algorithm) สำหรับการอนุมานแบบเบย์โดยประมาณ (approximate Bayesian posterior inference) ซึ่ง Kucukelbir, Tran, Ranganath, Gelman และ Blei (2017, JMLR) ได้นำเสนอขึ้น สำหรับแบบจำลองความน่าจะเป็นใดๆ ที่มีฟังก์ชันความหนาแน่นร่วม (log-joint density) สามารถหาอนุพันธ์ได้ ADVI จะทำการแปลงตัวแปรแฝงที่มีเงื่อนไข (constrained latent variables) ไปยังปริภูมิของจำนวนจริงที่ไม่มีเงื่อนไข (unconstrained real space) โดยอัตโนมัติ ปรับแบบจำลองตระกูลแบบเกาส์เซียน (Gaussian variational family) ให้เหมาะสมที่สุดโดยการเพิ่มค่าขอบเขตล่างของหลักฐาน (evidence lower bound - ELBO) ด้วยการไต่ระดับความชันแบบสุ่ม (stochastic gradient ascent) และส่งคืนค่าประมาณของความน่าจะเป็นภายหลัง (approximate posterior) โดยไม่ต้องมีการแจกแจงเฉพาะสำหรับแบบจำลองนั้นๆ เป็นกลไกการอนุมานแบบแปรผัน (variational inference engine) เริ่มต้นใน Stan และมีให้ใช้งานใน PyMC และ NumPyro