Meta&康奈尔大学提出NeuroLens：神经透镜建模，一个针对畸变和光晕的神经镜头模型

​

标题：Neural Lens Modeling

作者：Wenqi Xian, Aljaž Božič, Noah Snavely, Christoph Lassner

[Meta Reality Labs Research & Cornell University]

简介：

最近的三维重建和渲染方法越来越受益于整个图像形成过程的端到端优化。然而，这种方法目前是有限的：光学硬件堆栈的影响，特别是镜头的影响，很难以统一的方式建模。这限制了相机校准所能达到的质量和三维重建结果的保真度。

在本文中，我们提出了NeuroLens，这是一个针对畸变和光晕的神经镜头模型，可以用于点投影和射线投射，并可以通过这两种操作进行优化。这意味着它可以（选择性地）用于使用经典的校准目标进行捕获前的校准，随后可以用于在三维重建过程中进行校准或细化，例如，在优化辐射度场时。为了评估我们提出的模型的性能，我们创建了一个全面的数据集，该数据集由Lensfun数据库中的众多镜头组成。使用这个数据集和其他真实世界的数据集，我们表明，我们提出的镜头模型的质量优于标准包和最近的方法，同时更容易使用和扩展。该模型在许多镜头类型中都有通用性，并且可以很容易地集成到现有的三维重建和渲染系统中。

https://arxiv.org/pdf/2304.04848.pdf

​Read More