学习神经双工辐射场以实现实时视角合成

​

Learning Neural Duplex Radiance Fields for Real-Time View Synthesis

解决问题：
这篇论文试图解决Neural radiance fields (NeRFs)在渲染真实感图像时需要大量计算的问题，提出了一种新的方法来将NeRFs转化为高效的基于网格的神经表示。

关键思路：
论文的关键思路是将NeRFs转化为基于网格的神经表示，通过在网格上编码神经辐射特征来表示场景，使用屏幕空间卷积来利用相邻像素的局部几何关系，从而实现高质量的外观。此外，论文还提出了一种新的多视角蒸馏优化策略，进一步提高了整个框架的性能。

其他亮点：
论文的实验结果表明，这种方法在多个标准数据集上的表现优于现有方法。此外，论文还提供了开源代码。

关于作者：
Ziyu Wan是伦敦帝国理工学院的博士研究生，他之前的代表作包括“Learning to Learn with Feedback and Local Plasticity”等论文。Christian Richardt是伦敦大学学院计算机科学系的副教授，他之前的代表作包括“Neural Volumes: Learning Dynamic Renderable Volumes from Images”等论文。

相关研究：
近期其他相关的研究包括：

1. “NeRF– Neural Radiance Fields for Unconstrained Photo Collections” by Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng, in ECCV 2020.
2. “NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections” by Yen-Chen Lin, Simon Niklaus, Oliver Wang, Weicheng Kuo, Jia-Bin Huang, in arXiv 2021.

论文摘要：本文提出了一种新的方法，将神经辐射场（NeRFs）转化为高效的基于网格的神经表示，这种表示与大规模并行图形渲染管线完全兼容。我们将场景表示为编码在双层网格上的神经辐射特征，有效地克服了3D表面重建中固有的不准确性，通过学习可靠的射线-表面交点间隔的聚合辐射信息。为了利用相邻像素的局部几何关系，我们使用屏幕空间卷积代替NeRFs中使用的MLP，以实现高质量的外观。最后，我们采用了一种新的多视图蒸馏优化策略，进一步提高了整个框架的性能。通过对一系列标准数据集的广泛实验，我们证明了我们的方法的有效性和优越性。

​Read More