重新点亮我的 NeRF：一个用于实现真实世界物体新视角合成和重新照明的数据集

​

ReLight My NeRF: A Dataset for Novel View Synthesis and Relighting of
Real World Objects

解决问题：这篇论文旨在解决从神经辐射场（NeRF）中渲染新视图的问题，特别是在未观察到的光照条件下。为此，作者提出了一个名为ReNe的新数据集，用于展示真实世界物体在一次只有一个光源（OLAT）条件下的情况，并注释了准确的相机和光源姿态。

关键思路：该论文的关键思路是通过引入ReNe数据集和一个轻量级的NeRF架构，解决从NeRF中渲染新视图的问题。相比当前领域的研究，该论文的新意在于提供了一个新的数据集和一个新的轻量级架构，这些都可以用于解决NeRF中的新视图渲染问题。

其他亮点：该论文的实验设计了20个场景，每个场景包括2000个图像，从50个不同的视角和40个不同的OLAT条件下拍摄。作者还对NeRF架构的不同变体的重新照明能力进行了消融研究，并确定了一个轻量级的架构，可以在新的光照条件下渲染物体的新视图。数据集和基准测试都可以在https://eyecan-ai.github.io/rene上找到。

关于作者：主要作者是Marco Toschi、Riccardo De Matteo、Riccardo Spezialetti、Daniele De Gregorio和Luigi Di Stefano。他们来自意大利的不同机构，如意大利国家研究委员会、博洛尼亚大学和罗马大学。在之前的代表作中，他们在计算机视觉和机器学习领域发表了多篇论文。

相关研究：近期其他相关的研究包括：

• “NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections”，作者为Riccardo Spezialetti、Marco Volino、Riccardo De Matteo、Daniele De Gregorio和Luigi Di Stefano。
• “NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination”，作者为Xueting Li、Zexiang Xu、Jiatao Gu、Stephen Lin和Hao Li。
• “Multi-Object Neural Scene Representation and Rendering”，作者为Wenzheng Chen、Jun Gao、Hao Li和Jingyi Yu。

论文摘要：本文主要研究如何在未知光照条件下，从神经辐射场（NeRF）中渲染出新视角。为此，作者提出了一个名为ReNe（Relighting NeRF）的新型数据集，其中包含一系列真实世界物体的图像，这些物体在一次只有一个光源（OLAT）条件下被拍摄，并且注释了准确的相机和光源位置。作者使用两个机械臂，分别搭载相机和全向点光源，来获取20个场景的数据，这些场景包含各种具有复杂几何形状和具有挑战性的材料的物体。每个场景包括2000张图像，从50个不同的视角在40个不同的OLAT条件下获取。作者利用这个数据集，对vanilla NeRF架构的变体的重照能力进行了消融研究，并确定了一种轻量级架构，可以在新的光照条件下渲染物体的新视角，并用它来建立数据集的非平凡基准。该数据集和基准可在https://eyecan-ai.github.io/rene上获取。

​Read More