Seeing Clearly and Deeply: An RGBD Imaging Approach with a Bio-inspired Monocentric Design
Zongxi Yu, Xiaolong Qian, Shaohua Gao, Qi Jiang, Yao Gao, Kailun Yang, Kaiwei Wang
实现高保真,紧凑的RGD成像带来了双重挑战:传统的紧凑型光学在整个景深与RGB锐度作斗争,而仅软件的单眼深度估计(MDE)是一个依赖于不可靠的语义先验的不良问题。 虽然具有DOE等元素的深光学可以编码深度,但它们在制造复杂性和色差方面引入了权衡,从而损害了简单性。 为了解决这个问题,我们首先介绍了一种新的生物启发的全球形单中心透镜,围绕它,我们构建了仿生单心成像(BMI)框架,这是一个整体的共同设计。 这种光学设计自然地将深度编码到其深度变化点扩散函数(PSF)中,而不需要复杂的衍射或自由形式元素。 我们建立了一个严格的基于物理的前进模型,通过精确模拟光学降解过程来生成合成数据集。 该模拟管道与双头、多尺度重建网络共同设计,该网络使用共享编码器共同回收高保真万能(AiF)图像和从单个编码捕获的精确深度图。 广泛的实验验证了拟议框架的最先进的性能。 在深度估计中,该方法的Abs Rel为0.026,RMSE为0.130,明显优于领先的软件方法和其他深度光学系统。 对于图像恢复,系统实现了0.960的SSIM和0.082的感知LPIPS得分,从而证实了图像保真度和深度精度之间的优越平衡。 这项研究表明,生物启发,完全球形光学与联合重建算法的集成构成了解决高性能紧凑型RGD成像的内在挑战的有效策略。 源代码将在https://github.com/ZongxiYu-ZJU/BMI上公开。
Achieving high-fidelity, compact RGBD imaging presents a dual challenge: conventional compact optics struggle with RGB sharpness across the entire depth-of-field, while software-only Monocular Depth Estimation (MDE) is an ill-posed problem reliant on unreliable semantic priors. While deep optics with elements like DOEs can encode depth, they introduce trade-offs in fabrication complexity and chromatic aberrations, compromising simplicity. To address this, we first introduce a novel bio-inspired ...
