42digest首页
使用光场探测器进行实时场景重建

Real-Time Scene Reconstruction using Light Field Probes

Yaru Liu, Derek Nowrouzezahri, Morgan Mcguire

arXiv
2025年7月19日

从图像中重建逼真的大规模场景,例如在城市规模上,是计算机图形学中长期存在的问题。 神经渲染是一种新兴技术,可以从以前未观察到的观点中实现逼真的图像合成;然而,最先进的神经渲染方法很难有效地渲染高复杂的大规模场景,因为这些方法通常以场景大小,保真度和渲染速度为质量。 其他技术利用场景几何形状进行重建。 但是,构建和维护大量几何数据的成本随着场景大小的增长而增加。 我们的工作探索了新颖的视图合成方法,无需明确使用场景几何形状即可有效地重建复杂的场景。 具体来说,给定场景的稀疏图像(从现实世界捕获),我们重建了场景几何形状的中间,多尺度,隐式表示。 通过这种方式,我们的方法避免了明确依赖于场景几何,大大降低了维护大型3D数据的计算成本。 与当前方法不同,我们使用探针数据结构重建场景。 探头数据保存高度精确的密集数据点的深度信息,从而实现高度复杂的场景的重建。 通过使用探针数据重建场景,渲染成本独立于场景的复杂性。 因此,我们的方法结合了几何重建和新颖的视图合成。 此外,在渲染大规模场景时,压缩和流式探头数据比使用显式场景几何图形更有效。 因此,我们的神经表示方法可以潜在地应用于虚拟现实(VR)和增强现实(AR)应用。

Reconstructing photo-realistic large-scale scenes from images, for example at city scale, is a long-standing problem in computer graphics. Neural rendering is an emerging technique that enables photo-realistic image synthesis from previously unobserved viewpoints; however, state-of-the-art neural rendering methods have difficulty efficiently rendering a high complex large-scale scene because these methods typically trade scene size, fidelity, and rendering speed for quality. The other stream of ...