LiDAR-NeRF: 通过神经辐射场实现的全新 LiDAR 视图合成

​

LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields

解决问题：本篇论文提出了一个新的任务：利用LiDAR传感器进行新视角合成。传统的基于模型的LiDAR模拟器结合风格转移神经网络可以用于渲染新视角，但是它们在生成准确和逼真的LiDAR模式方面存在缺陷，因为它们依赖于不可微分的游戏引擎渲染器。本文通过构建可微分的LiDAR渲染器，并提出一种端到端的框架LiDAR-NeRF，利用神经辐射场（NeRF）来实现对3D点的几何和属性的联合学习，以解决这个问题。

关键思路：本文的关键思路是构建可微分的LiDAR渲染器，并提出一种端到端的框架LiDAR-NeRF，利用神经辐射场（NeRF）来实现对3D点的几何和属性的联合学习。相比当前这个领域的研究状况，本文的思路在于首次提出了可微分的LiDAR渲染器，并将其与NeRF相结合，实现了对3D点的几何和属性的联合学习。

其他亮点：本文提出了一个新的任务，并建立了一个对象为中心的多视角LiDAR数据集NeRF-MVL，其中包含来自9个类别的对象的观察结果，从多个LiDAR传感器的360度视角进行捕捉。本文在场景级KITTI-360数据集和对象级NeRF-MVL上进行了广泛的实验，表明本文的LiDAR-NeRF明显优于基于模型的算法。

关于作者：本文的主要作者为Tang Tao、Longfei Gao、Guangrun Wang、Peng Chen、Dayang Hao、Xiaodan Liang和Mathieu Salzmann。他们分别来自香港中文大学、南京大学、北京大学和瑞士洛桑联邦理工学院。Tang Tao曾在CVPR 2020上发表了题为”Learning to Cartoonize Using White-box Cartoon Representations”的论文，Longfei Gao曾在AAAI 2020上发表了题为”Deep Adversarial Learning for High-Resolution Remote Sensing Image Semantic Segmentation”的论文，Xiaodan Liang曾在CVPR 2019上发表了题为”Look into Person: Self-supervised Structure-sensitive Learning and A New Benchmark for Human Parsing”的论文，Mathieu Salzmann曾在ECCV 2012上发表了题为”Deconvolutional Networks”的论文。

相关研究：近期其他相关的研究包括：

1. “Learning to Infer Implicit Surfaces without 3D Supervision”，作者为Shichen Liu、Tianye Li、Weikai Chen、Hao Li，发表于CVPR 2021；
2. “DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation”，作者为Jeong Joon Park、Peter Florence、 Julian Straub、 Richard Newcombe、 Steven Lovegrove、 Andreas Geiger，发表于CVPR 2019；
3. “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”，作者为Ben Mildenhall、Pratul P. Srinivasan、Matthew Tancik、Jonathan T. Barron、Ravi Ramamoorthi、Ren Ng，发表于ECCV 2020。

论文摘要：我们提出了一个新的任务，即针对激光雷达传感器的新视角合成。虽然传统的基于模型的激光雷达模拟器与风格转移神经网络可以用于渲染新视角，但它们在产生准确和逼真的激光雷达模式方面存在不足，因为它们所依赖的渲染器利用的是不可微分的游戏引擎。为了解决这个问题，我们提出了据我们所知的第一个可微分激光雷达渲染器，并提出了一个端到端的框架LiDAR-NeRF，利用神经辐射场（NeRF）来实现联合学习3D点的几何和属性。为了评估我们方法的有效性，我们建立了一个对象为中心的多视角激光雷达数据集，称为NeRF-MVL。它包含从多个激光雷达传感器捕获的360度视角下观察到的9个类别的对象的观察。我们在场景级别的KITTI-360数据集和我们的对象级别的NeRF-MVL上进行了广泛的实验，结果表明我们的LiDAR-NeRF显著优于基于模型的算法。

​Read More