Reducing normalizing flow complexity for MCMC preconditioning
David Nabergoj and Erik Štrumbelj
预调理是MCMC算法的关键组成部分,通过可倒置地图促进探索几何复杂的目标分布来提高采样效率。 虽然线性预后器通常足以用于中等复杂目标分布,但最近的研究已经探索了非线性预后器,其中可逆神经网络是正态化流(NF)的组成部分。 然而,实证和理论研究表明,超参数化的NF预处理器可以降低采样效率和拟合质量。 此外,现有的基于NF的方法不会使其架构适应目标分布。 MCMC以外的相关工作同样发现,适当的参数化NF可以在训练时间或数据少得多的情况下实现可比或卓越的性能。 我们提出了一个因子化预后架构,通过将线性组件与条件NF相结合来降低NF的复杂性,提高了对目标几何的适应性。 线性预处理器应用于近似高斯的尺寸,从热身样本中估计,而条件NF模型更复杂的尺寸。 我们的方法在两个复杂的合成分布上产生显着更好的尾部样本,并且在不同的可能性和先前优势的稀疏逻辑回归后,在稀疏的物流回归上持续更好的性能。 它还在具有微弱可能性和强漏斗几何形状的分层贝叶斯模型后位上实现了更高的有效样本量。 这种方法对于数据有限的分层贝叶斯模型分析特别相关,可以为当前神经MCMC设计的理论和软件进展提供信息。
Preconditioning is a key component of MCMC algorithms that improves sampling efficiency by facilitating exploration of geometrically complex target distributions through an invertible map. While linear preconditioners are often sufficient for moderately complex target distributions, recent work has explored nonlinear preconditioning with invertible neural networks as components of normalizing flows (NFs). However, empirical and theoretical studies show that overparameterized NF preconditioners c...
