Accelerating Hamiltonian Monte Carlo for Bayesian Inference in Neural Networks and Neural Operators
Ponkrshnan Thiagarajan, Tamer A. Zaki and Michael D. Shields
Hamiltonian Monte Carlo (HMC) 是一种强大而准确的方法,可以从贝叶斯推理中的后验分布中取样。 然而,HMC技术对贝叶斯神经网络的计算要求很高,因为网络的参数空间的噪声性及其后分布的非凸性。 因此,各种近似技术,如变化推断(VI)或随机梯度MCMC,通常用于推断网络参数的后验分布。 这种近似值在推断的分布中引入不准确之处,导致不可靠的不确定性估计。 在这项工作中,我们提出了一种混合方法,该方法结合了廉价的VI和精确的HMC方法,以有效和准确地量化神经网络和神经网络运算符的不确定性。 拟议的办法利用了关于整个网络的初步第六培训。 我们考察单个参数对预测不确定性的影响,这表明很大一部分参数对网络预测的不确定性没有实质性的贡献。 然后,这些信息用于显著减小参数空间的维度,HMC仅针对强烈影响预测不确定性的网络参数子集执行。 这产生了一个框架,用于加速神经网络中后推理的全批HMC。 我们展示了在深度神经网络和运算网络上提出的框架的效率和准确性,表明可以为具有数以万计到数十万个参数的大型网络执行推理。 我们表明,这种方法可以通过建模从上游条件映射到高声波流圆锥体上的壁压数据的操作员来有效地学习复杂物理系统的代理。
Hamiltonian Monte Carlo (HMC) is a powerful and accurate method to sample from the posterior distribution in Bayesian inference. However, HMC techniques are computationally demanding for Bayesian neural networks due to the high dimensionality of the network's parameter space and the non-convexity of their posterior distributions. Therefore, various approximation techniques, such as variational inference (VI) or stochastic gradient MCMC, are often employed to infer the posterior distribution of t...