透过玻璃：针对高度反射的神经表面重建

​

Looking Through the Glass: Neural Surface Reconstruction Against High
Specular Reflections

解决问题：本篇论文旨在解决通过玻璃拍摄物体时高光反射（HSR）对于物体表面重建的影响问题。这是一个新问题，当前的方法无法正确地重建目标物体。

关键思路：该论文提出了一种新的表面重建框架——NeuS-HSR，它基于隐式神经渲染，将物体表面参数化为一个隐式符号距离函数（SDF）。为了减少HSR的干扰，论文提出将渲染图像分解为目标物体和辅助平面两个外观，并设计了一个新的辅助平面模块，结合物理假设和神经网络生成辅助平面外观。相比于当前领域的研究，该论文的思路创新。

其他亮点：论文在合成和真实世界数据集上进行了广泛实验，证明NeuS-HSR在对抗HSR的准确和鲁棒的目标表面重建方面优于现有方法。论文提供了开源代码，值得进一步研究。

关于作者：主要作者是Jiaxiong Qiu、Peng-Tao Jiang、Yifan Zhu、Ze-Xin Yin、Ming-Ming Cheng和Bo Ren。他们来自清华大学、南京大学、中国科学院、南京邮电大学和悉尼科技大学。Jiaxiong Qiu曾在SIGGRAPH、CVPR等国际顶级会议上发表过多篇论文，主要研究方向为计算机视觉和图形学。

相关研究：近期相关研究包括：“Neural Volumes: Learning Dynamic Renderable Volumes from Images”（作者：Benjamin Graham等，机构：Facebook AI Research）、“NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections”（作者：Ricardo Martin-Brualla等，机构：谷歌）、“Neural Point-Based Graphics”（作者：Lingjie Liu等，机构：华盛顿大学）。

论文摘要：本文介绍了一种新的基于隐式神经渲染的表面重建框架NeuS-HSR，用于解决透过玻璃拍摄目标物体时高度镜面反射（HSR）带来的表面重建问题。NeuS-HSR将目标物体的表面参数化为一个隐式有符号距离函数（SDF），并将渲染的图像分解为两个外观：目标物体和辅助平面。作者设计了一个新的辅助平面模块，通过将物理假设和神经网络相结合来生成辅助平面的外观，以减少HSR的干扰。实验结果表明，NeuS-HSR在合成和真实数据集上均优于现有方法，能够准确、稳健地重建目标表面。代码可在https://github.com/JiaxiongQ/NeuS-HSR获得。

​Read More