Differential privacy guarantees of Markov chain Monte Carlo algorithms
Andrea Bertazzi and Tim Johnston and Gareth O. Roberts and Alain Durmus
本文旨在为马尔可夫连锁蒙特卡洛(MCMC)算法提供差分隐私(DP)保证。 在第一部分中,我们建立了对MCMC算法输出的样本的DP保证,以及蒙特卡洛估计器在基础马尔可夫链的收敛特性下的假设下与这些方法相关联。 特别是,我们的结果突出了确保目标分布是差异化的私有本身的危急条件。 在第二部分中,我们专门分析未调整的Langevin算法和随机梯度Langevin动力学,并在其(Rényi)DP上建立保证。 为此,我们开发了一种基于Girsanov定理的新方法,结合扰动技巧,以获得无边界域和非凸设置的界限。 我们建立:(i)在n迭代后链的状态发布时,在n个隐私保证中统一,(ii)整个链轨迹的隐私边界。 这些发现为隐私保护MCMC提供了具体的指导方针。
This paper aims to provide differential privacy (DP) guarantees for Markov chain Monte Carlo (MCMC) algorithms. In a first part, we establish DP guarantees on samples output by MCMC algorithms as well as Monte Carlo estimators associated with these methods under assumptions on the convergence properties of the underlying Markov chain. In particular, our results highlight the critical condition of ensuring the target distribution is differentially private itself. In a second part, we specialise o...