Nerfbusters：从随意捕获的NeRF中去除幽灵似的图像残留物

​

Nerfbusters: Removing Ghostly Artifacts from Casually Captured NeRFs

解决问题：本文旨在解决NeRFs在渲染过程中可能出现的幽灵似的伪影或几何缺陷等问题。同时，本文还提出了一个新的数据集和评估流程，以更准确地评估渲染质量。

关键思路：本文提出了一种基于3D扩散和局部3D先验的方法，利用新颖的基于密度的分数蒸馏采样损失，以减少NeRF优化过程中的伪影和几何缺陷。相对于现有的手工正则化方法，本文的方法在更具挑战性的野外场景中表现更好。

其他亮点：本文提出的数据集和评估流程可以更全面地评估渲染质量。此外，本文的方法在处理NeRFs的伪影和几何缺陷方面表现出色，值得进一步研究。本文的代码已经开源。

关于作者：Frederik Warburg、Ethan Weber、Matthew Tancik、Aleksander Holynski和Angjoo Kanazawa均来自加州大学伯克利分校。Matthew Tancik曾发表过“High-Fidelity Image Generation With Fewer Labels”等论文，Angjoo Kanazawa曾发表过“Learning Category-Specific Mesh Reconstruction From Image Collections”等论文。

相关研究：近期相关研究包括“NeRF-W: Efficient Neural Rendering With Warping”（作者：Zirui Wang等，机构：华中科技大学）、“NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination”（作者：Chen-Hsuan Lin等，机构：加州大学伯克利分校）等。

论文摘要：本文介绍了一种名为NeRFbusters的方法，可以消除从非正式捕捉的神经辐射场（NeRF）中产生的漂浮物或缺陷几何图形等伪影。由于现有的评估协议通常只在训练捕获的每8帧图像质量上进行评估，因此无法捕捉到这些效果。为了推动新视角合成的进展，本文提出了一种新的数据集和评估程序，记录了场景的两个摄像机轨迹：一个用于训练，另一个用于评估。在这种更具挑战性的野外环境中，现有的手工制定的正则化器不能消除漂浮物，也不能改善场景几何形状。因此，本文提出了一种3D扩散方法，利用局部3D先验和一种新的基于密度的分数蒸馏采样损失来防止NeRF优化期间的伪影。实验结果表明，这种数据驱动的先验可以消除漂浮物并改善非正式捕捉的场景几何形状。

​Read More