A Generative Framework for Causal Estimation via Importance-Weighted Diffusion Distillation
Xinran Song and Tianyu Chen and Mingyuan Zhou
从观察数据中估计个体化治疗效果是因果推断的核心挑战,主要是由于协变失衡和非随机治疗分配的混杂偏差。 虽然逆概率加权(IPW)是解决这个问题的既定解决方案,但它与现代深度学习框架的集成仍然有限。 在这项工作中,我们提出了重要性加权扩散蒸馏(IWDD),这是一种新颖的生成框架,将扩散模型的预训练与重要性加权分数蒸馏相结合,以实现准确和快速的因果估计 - 包括潜在的结果预测和处理效果估计。 我们演示了如何自然地将IPW纳入预训练扩散模型的蒸馏中,并进一步引入了基于随机化的调整,消除了明确计算IPW的需要,从而简化了计算,更重要的是,可以证明地减少了梯度估计的方差。 经验结果表明,IWDD实现了最先进的样本外预测性能,与其他基线相比,胜率最高,显着改善了因果估计并支持个体化治疗策略的发展。 我们将发布我们的 PyTorch 代码,用于可重复性和未来的研究。
Estimating individualized treatment effects from observational data is a central challenge in causal inference, largely due to covariate imbalance and confounding bias from non-randomized treatment assignment. While inverse probability weighting (IPW) is a well-established solution to this problem, its integration into modern deep learning frameworks remains limited. In this work, we propose Importance-Weighted Diffusion Distillation (IWDD), a novel generative framework that combines the pretrai...