斯坦福 & 谷歌 | SCADE：利用模糊感知深度估计的空间雕刻中的NeRF

​

【推荐理由】本文引入了SCADE技术，这是一种新颖的技术，可改善在野外室内场景中稀疏、无约束输入视图下的NeRF重建质量。

SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates
Mikaela Angelina Uy, Ricardo Martin-Brualla, Leonidas Guibas, Ke Li
[Stanford University & Google & Simon Fraser University ]

【论文链接】https://arxiv.org/pdf/2303.13582.pdf

【项目链接】https://scade-spacecarving-nerfs.github.io/

【摘要】神经放射场（NeRF）已经实现了从多个2D输入视图进行高保真度的3D重建。然而，NeRF的一个众所周知的缺点是在少量视图下表现不佳，这是由于体积渲染所强制施加的约束不足。为了解决这个问题，本文引入了SCADE，一种新颖的技术，用于改善在野外室内场景中稀疏、无约束的输入视图下的NeRF重建质量。为了约束NeRF重建，作者利用几何先验形式的逐视图深度估计，这是由最先进的单目深度估计模型产生的，可以推广到各种场景。一个关键的挑战是单目深度估计是一个不适定问题，具有固有的歧义。为了处理这个问题，文章提出了一种新的方法，使用条件隐式最大似然估计（cIMLE）来学习为每个视图预测连续的、多模态的深度估计分布。为了消除利用多个视图的歧义，作者引入了一种原始的空间雕刻损失，指导NeRF表示将每个视图的多个假设深度图融合起来，从中提取一个与所有视图一致的公共几何形状。实验证明，该方法可以从稀疏视图中实现更高保真度的新视图合成。

​Read More