42digest首页
深反面:通过生成式精炼实现一致的反照率和表面细节恢复

Deep Inverse Shading: Consistent Albedo and Surface Detail Recovery via Generative Refinement

Jiacheng Wu, Ruiqi Zhang, Jie Chen

arXiv
2025年11月11日

使用生成式先验重建人类头像对于实现多功能和逼真的头像模型至关重要。 传统方法通常依赖于由生成模型引导的体积表示,但这些方法需要广泛的体积渲染查询,导致训练缓慢。 或者,基于表面的表示通过可区分的栅格化提供更快的优化,但它们通常受到顶点计数的限制,当与生成先验相结合时,限制了网格分辨率和可扩展性。 此外,将生成性先验物集成到基于物理的人类头像建模中,在很大程度上仍未被探索。 为了应对这些挑战,我们引入了DIS(Deep Inverse Shading),这是一个用于高保真,可重轻缩的头像重建的统一框架,将生成前置纳入连贯的表面表示。 DIS以基于网格的模型为中心,作为优化表面和材料细节的目标。 该框架使用正常转换模块将多视图2D生成表面正常预测融合到中央网格中,细节丰富但往往不一致。 该模块通过可微光栅化将生成式正常输出转换为每个三角表面偏移,从而捕获超出稀疏顶点限制的精细几何细节。 此外,DIS还集成了去阴影模块,以恢复准确的材料性能。 该模块通过删除烘焙阴影和反向传播重建错误来完善反照率预测,以优化几何形状。 通过联合优化几何形状和材料外观,DIS实现了物理上一致的高质量重建,适合精确重新照明。 我们的实验表明,DIS提供SOTA重开质量,增强的渲染效率,更低的内存消耗和详细的表面重建。

Reconstructing human avatars using generative priors is essential for achieving versatile and realistic avatar models. Traditional approaches often rely on volumetric representations guided by generative models, but these methods require extensive volumetric rendering queries, leading to slow training. Alternatively, surface-based representations offer faster optimization through differentiable rasterization, yet they are typically limited by vertex count, restricting mesh resolution and scalabi...