STRIDE: Sparse Techniques for Regression in Deep Gaussian Processes
Simon Urbainczyk, Aretha L. Teckentrup, Jonas Latz
高斯过程(GP)作为灵活的机器学习模型,通过内置的不确定性量化方法实现了回归和函数近似,因此越来越受欢迎。 然而,当训练数据量大或底层函数包含难以由固定内核表示的多尺度特征时,GP会受到影响。 为了解决前者,通过大规模数据对GP的训练通常通过诱导点近似(也称为稀疏GP回归(GPR))进行,其中GPR中的协方差矩阵的大小通过在数据集上的贪婪搜索而大大减少。 为了帮助后者,深度全科医生已经获得了牵引力,通过结合多个全科医生来解决多尺度特征。 深度全科医生的后推断需要取样,或者更常见的是变异近似。 变化近似导致大规模的随机,非凸优化问题,由此产生的近似往往错误地表示不确定性。 在这项工作中,我们将变异学习与MCMCM相结合,开发了一种基于粒子的期望最大化方法,以同时在大规模数据(可变)中找到诱导点,并准确训练全科医生(基于采样)。 其结果是对大规模数据进行深度全科医生培训的高效和准确方法。 我们在标准基准问题上测试我们的方法。
Gaussian processes (GPs) have gained popularity as flexible machine learning models for regression and function approximation with an in-built method for uncertainty quantification. However, GPs suffer when the amount of training data is large or when the underlying function contains multi-scale features that are difficult to represent by a stationary kernel. To address the former, training of GPs with large-scale data is often performed through inducing point approximations (also known as spars...