Variational Inference in Location-Scale Families: Exact Recovery of the Mean and Correlation Matrix
Charles C. Margossian and Lawrence K. Saul
给定一个难以解决的目标密度p,变异推断(VI)试图从一个可处理的家庭Q中找到最佳的近似q。 这通常是通过最小化KULback-Leibler发散,KL(q||p)来完成的。 在实践中,Q不够丰富,不能包含p,即使它是一个独特的KL(q||p全局最小化器,近似也是错误的。 在本文中,我们分析了当p表现出某些对称性时VI对这些错误特征的稳健性,Q是一个共享这些对称性的位置尺度家族。 我们证明,不仅在轻度的规律条件下,而且在面对严重的错误规格的情况下,对VI有强有力的保证。 也就是说,我们表明(i)VI在p表现出均匀对称性时恢复p的均值,并且(ii)当p表现出椭圆对称性时,它恢复p的相关性矩阵。 即使q被因子化并且p不是,这些保证也保留给均值,并且即使q和p在其尾巴中表现不同,对于相关性矩阵也是如此。 我们分析了贝叶斯推理的各种机制,其中这些对称性是有用的理想化,我们还通过实验研究VI在它们缺席时的行为。
Given an intractable target density p, variational inference (VI) attempts to find the best approximation q from a tractable family Q. This is typically done by minimizing the exclusive Kullback-Leibler divergence, KL(q||p). In practice, Q is not rich enough to contain p, and the approximation is misspecified even when it is a unique global minimizer of KL(q||p). In this paper, we analyze the robustness of VI to these misspecifications when p exhibits certain symmetries and Q is a location-scale...