OmniLens: Towards Universal Lens Aberration Correction via LensLib-to-Specific Domain Adaptation
Qi Jiang, Yao Gao, Shaohua Gao, Zhonghua Yi, Xiaolong Qian, Hao Shi, Kailun Yang, Lei Sun, Kaiwei Wang
新兴的通用计算畸变校正(CAC)范式为轻量级和高质量成像提供了一个鼓舞人心的解决方案,在镜头库(LensLib)上训练的通用模型,可以盲目地解决任意镜头畸变。 然而,现有LensLibs的覆盖范围有限,导致训练有素的模型对看不见的镜头的推广不良,其微调管道也仅限于镜头描述已知的案例。 在这项工作中,我们介绍了OmniLens,这是一种通用CAC的灵活解决方案,通过(i)建立一个令人信服的LensLib,全面覆盖预训练强大的基础模型,以及(ii)通过快速LensLib到特定域适应,使模型适应任何特定的镜头设计,具有未知的镜头描述。 为了实现这些目的,提出了基于Evolution的自动光学设计(EAOD)管道,以生成具有逼真的畸变行为的丰富各种镜头样本。 然后,我们根据对透镜畸变诱导的降解中的暗通道先验的统计观察,设计一个无监督的正则化术语,用于在一些易于访问的真实捕获的图像上进行高效的域调整。 广泛的实验证明,EAOD生成的LensLib有效地开发了一种具有强大概括能力的通用CAC模型,该模型还可以在PSNR中将非盲透镜特异性方法提高0.35-1.81dB。 此外,拟议的域适应方法显着改善了基础模型,特别是在严重畸变的情况下(PSNR中最多为2.59dB)。 代码和数据将在https://github.com/zju-jiangqi/OmniLens上提供。
Emerging universal Computational Aberration Correction (CAC) paradigms provide an inspiring solution to light-weight and high-quality imaging with a universal model trained on a lens library (LensLib) to address arbitrary lens aberrations blindly. However, the limited coverage of existing LensLibs leads to poor generalization of the trained models to unseen lenses, whose fine-tuning pipeline is also confined to the lens-descriptions-known case. In this work, we introduce OmniLens, a flexible sol...
