Generalized Guarantees for Variational Inference in the Presence of Even and Elliptical Symmetry
Charles C. Margossian and Lawrence K. Saul
我们扩展了最近的几项结果,为位置尺度家族的变异推断(VI)提供了基于对称的保证。 VI 近似一个目标密度 p 通过在通常不包含 p 的可处理分布家族中的最佳匹配 q^* 。 众所周知,当p和Q表现出某些对称性时,VI可以恢复p的关键属性,例如其均值和相关性矩阵,并且 q^* 通过最小化反向Kullback-Leibler发散来发现。 我们向两个重要方向扩展这些保证。 首先,我们为更广泛的差异家族提供基于对称的保证,强调变异目标的属性,其中VI可证明恢复均值和相关性矩阵。 其次,当目标密度p在某些坐标中显示均匀和椭圆对称时,我们获得了VI的进一步保证。 这些部分对称性在贝叶斯等级模型中自然产生,其中先验诱导具有挑战性的几何形状,但仍然具有对称轴。 我们在多个实验环境中说明了这些理论结果。
We extend several recent results providing symmetry-based guarantees for variational inference (VI) with location-scale families. VI approximates a target density p by the best match q^* in a family Q of tractable distributions that in general does not contain p. It is known that VI can recover key properties of p, such as its mean and correlation matrix, when p and Q exhibit certain symmetries and q^* is found by minimizing the reverse Kullback-Leibler divergence. We extend these guarantees in ...
