A PDE Perspective on Generative Diffusion Models
Kang Liu and Enrique Zuazua
基于分数的扩散模型已成为一类强大的生成方法,实现了跨不同领域的最先进的性能。 尽管它们的经验成功,这些模型的数学基础仍然只是部分理解,特别是关于支配其动力学的基础随机和偏微分方程的稳定性和一致性。 在这项工作中,我们开发了一个严格的偏微分方程(PDE)框架,用于基于分数的扩散过程。 基于Li-Yau对热流的差分不等式,我们证明了良好的构值,并为相关的基于分数的Fokker-Planck动力学得出了尖锐 L^p 的稳定性估计,提供了对其时间演化的数学一致描述。 通过熵稳定性方法,我们进一步表明扩散模型的反向时间动力学集中在数据流形上,用于紧凑支持的数据分布和广泛的初始化方案,其集中率 √(t) 为 t → 0。 这些结果产生了一个理论保证,在精确的评分指导下,扩散轨迹返回到数据流形,同时保持模仿的保真度。 我们的发现还为设计扩散模型提供了实用的见解,包括分数函数构建、损失配方和停止时间选择的原则性标准。 总之,这个框架提供了对生成能力和模仿保真度之间的权衡的定量理解,在统一的数学视角下弥合严格的分析和模型设计。
Score-based diffusion models have emerged as a powerful class of generative methods, achieving state-of-the-art performance across diverse domains. Despite their empirical success, the mathematical foundations of those models remain only partially understood, particularly regarding the stability and consistency of the underlying stochastic and partial differential equations governing their dynamics. In this work, we develop a rigorous partial differential equation (PDE) framework for score-based...