Proximal Oracles for Optimization and Sampling
Jiaming Liang and Yongxin Chen
我们考虑具有非平滑目标函数的凸优化和非平滑电位(负日志密度)的log-concave采样。 特别是,我们研究了两个特定的设置,其中凸目标/电位函数要么荷尔德平滑,要么以混合形式作为荷尔德平滑组件的有限总和。 为了克服不平滑性带来的挑战,我们的算法在优化和采样中采用了两个强大的近端框架:优化的近端点框架和在增强分布上使用Gibbs采样的交替采样框架(ASF)。 优化和采样算法的一个关键组成部分是通过正则化的切割平面方法有效地实现近端图。 我们使用新颖的收敛分析在荷尔德平滑度和混合设置下建立其迭代复杂性,从而产生文献中新的结果。 我们进一步提出了一种用于非平滑优化的自适应近端捆绑方法,该方法采用激进的自适应步骤化策略,该策略仅在必要时调整步进大小,并且永远不会拒绝引用。 提议的方法是通用的,因为它不需要任何问题参数作为输入。 此外,我们提供了一个接近样本的采样神谕的精确实现,类似于优化中的近端图,以及Hölder平滑和混合情况的简单复杂度分析,使用基于修改高斯积分的新技术。 最后,我们将这种近端采样神谕和ASF结合起来,获得具有非渐近复杂性边界的马尔可夫链蒙特卡罗方法,用于在荷尔德平滑和混合设置中进行采样。
We consider convex optimization with non-smooth objective function and log-concave sampling with non-smooth potential (negative log density). In particular, we study two specific settings where the convex objective/potential function is either Hölder smooth or in hybrid form as the finite sum of Hölder smooth components. To overcome the challenges caused by non-smoothness, our algorithms employ two powerful proximal frameworks in optimization and sampling: the proximal point framework for optimi...