香港科技大学 | 实例神经辐射场

​

【推荐理由】本文介绍了一种基于学习的NeRF 3D实例分割流程。实验证明该方法在未见过的视角的分割性能方面超过了先前的NeRF分割工作。

Instance Neural Radiance Field
Benran Hu, Junkai Huang, Yichen Liu, Yu-Wing Tai, Chi-Keung Tang
[The Hong Kong University of Science and Technology & Kuaishou Technology]

【论文链接】https://arxiv.org/pdf/2304.04395.pdf

【摘要】本文介绍了一种基于学习的NeRF 3D实例分割流程，称为Instance Neural Radiance Field或Instance-NeRF。将从多视角RGB图像预训练的NeRF作为输入，Instance-NeRF可以学习给定场景的3D实例分割，表示为NeRF模型的实例字段组件。为此，作者采用一个基于3D提议的掩码预测网络，在NeRF的采样体积特征上生成离散的3D实例掩码。然后将粗略的3D掩码预测投影到图像空间，以匹配现有全景分割模型生成的不同视图的2D分割掩码，这些模型被用于监督实例字段的训练。值得注意的是，除了从新视角生成一致的2D分割图之外，Instance-NeRF还可以查询任何3D点的实例信息，这极大地增强了NeRF对象的分割和操作能力。该方法也是在推断过程中没有地面真实实例信息的情况下实现这些结果的首批之一。在复杂室内场景的合成和实际NeRF数据集上进行实验，Instance-NeRF在未见过的视角的分割性能方面超过了先前的NeRF分割工作和有竞争力的2D分割方法。

​Read More