透过玻璃:针对高度反射的神经表面重建

730次阅读
没有评论

Looking Through the Glass: Neural Surface Reconstruction Against High
Specular Reflections

解决问题:本篇论文旨在解决通过玻璃拍摄物体时高光反射(HSR)对于物体表面重建的影响问题。这是一个新问题,当前的方法无法正确地重建目标物体。

关键思路:该论文提出了一种新的表面重建框架——NeuS-HSR,它基于隐式神经渲染,将物体表面参数化为一个隐式符号距离函数(SDF)。为了减少HSR的干扰,论文提出将渲染图像分解为目标物体和辅助平面两个外观,并设计了一个新的辅助平面模块,结合物理假设和神经网络生成辅助平面外观。相比于当前领域的研究,该论文的思路创新。

其他亮点:论文在合成和真实世界数据集上进行了广泛实验,证明NeuS-HSR在对抗HSR的准确和鲁棒的目标表面重建方面优于现有方法。论文提供了开源代码,值得进一步研究。

关于作者:主要作者是Jiaxiong Qiu、Peng-Tao Jiang、Yifan Zhu、Ze-Xin Yin、Ming-Ming Cheng和Bo Ren。他们来自清华大学、南京大学、中国科学院、南京邮电大学和悉尼科技大学。Jiaxiong Qiu曾在SIGGRAPH、CVPR等国际顶级会议上发表过多篇论文,主要研究方向为计算机视觉和图形学。

相关研究:近期相关研究包括:“Neural Volumes: Learning Dynamic Renderable Volumes from Images”(作者:Benjamin Graham等,机构:Facebook AI Research)、“NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections”(作者:Ricardo Martin-Brualla等,机构:谷歌)、“Neural Point-Based Graphics”(作者:Lingjie Liu等,机构:华盛顿大学)。

论文摘要:本文介绍了一种新的基于隐式神经渲染的表面重建框架NeuS-HSR,用于解决透过玻璃拍摄目标物体时高度镜面反射(HSR)带来的表面重建问题。NeuS-HSR将目标物体的表面参数化为一个隐式有符号距离函数(SDF),并将渲染的图像分解为两个外观:目标物体和辅助平面。作者设计了一个新的辅助平面模块,通过将物理假设和神经网络相结合来生成辅助平面的外观,以减少HSR的干扰。实验结果表明,NeuS-HSR在合成和真实数据集上均优于现有方法,能够准确、稳健地重建目标表面。代码可在https://github.com/JiaxiongQ/NeuS-HSR获得。

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy