PS-GS: Gaussian Splatting for Multi-View Photometric Stereo
Yixiao Chen, Bin Liang, Hanzhi Guo, Yongqing Cheng, Jiayi Zhao, Dongdong Weng
将逆渲染与多视图光刻板(MVPS)集成,比依赖固定环境照明的逆渲染方法产生更精确的3D重建。 然而,使用MVPS的高效反向渲染仍然具有挑战性。 为了填补这一空白,我们引入了高斯多视图光度立体声(PS-GS),它高效并共同估计了由不同方向灯(多光)照明的物体的几何形状,材料和照明。 我们的方法首先将标准的2D高斯溅射模型重建为初始几何形状。 基于初始化模型,它然后通过包含照明计算多层感知器的完整渲染方程进行递延反向渲染。 在整个优化过程中,我们通过未校准的光度立体声估计正常值来规范渲染正常地图。 我们还提出了用于单向光的2D高斯射线追踪,以完善事件照明。 多视图和多光图像的正则化和使用减轻了逆渲染的不良问题。 经过优化后,重建的对象可用于新颖的视图合成,重新点亮以及材料和形状编辑。 合成和真实数据集的实验表明,我们的方法在重建精度和计算效率方面优于先前的工作。
Integrating inverse rendering with multi-view photometric stereo (MVPS) yields more accurate 3D reconstructions than the inverse rendering approaches that rely on fixed environment illumination. However, efficient inverse rendering with MVPS remains challenging. To fill this gap, we introduce the Gaussian Splatting for Multi-view Photometric Stereo (PS-GS), which efficiently and jointly estimates the geometry, materials, and lighting of the object that is illuminated by diverse directional light...