港大 & 南洋理工 | 使用自由相机轨迹的快速神经辐射场训练

​

【推荐理由】本文介绍了一种基于网格的新型视图合成的NeRF。F2-NeRF能够实现任意的输入相机轨迹，并且只需要花费几分钟的时间进行训练。

F2-NeRF: Fast Neural Radiance Field Training with Free Camera Trajectories
Peng Wang,  Yuan Liu, Zhaoxi Chen, Lingjie Liu, Ziwei Liu, Taku Komura, Christian Theobalt, Wenping Wang
[The University of Hong Kong & S-Lab, Nanyang Technological University & Max Planck Institute for Informatics & Texas A&M University]

【论文链接】https://arxiv.org/pdf/2303.15951.pdf

【项目链接】https://totoro97.github.io/projects/f2-nerf/

【摘要】本文提出了一种新颖的基于网格的 NeRF，称为 F2-NeRF（Fast-Free-NeRF），用于新视角合成，它可以实现任意输入摄像机轨迹，并且只需要几分钟的训练时间。现有的快速网格 NeRF 训练框架，如 Instant-NGP、Plenoxels、DVGO 或 TensoRF，主要是针对有界场景设计的，并依靠空间弯曲来处理无界场景。现有的两种广泛使用的空间弯曲方法仅设计用于向前轨迹或 360 度物体中心轨迹，但无法处理任意轨迹。在本文中，作者深入探讨了空间弯曲的机制来处理无界场景。根据分析，作者进一步提出了一种新颖的空间弯曲方法，称为透视弯曲，它允许在基于网格的 NeRF 框架中处理任意轨迹。广泛的实验表明，F2-NeRF 可以使用相同的透视弯曲在两个标准数据集和我们收集的新的自由轨迹数据集上呈现高质量的图像。

​Read More