多视角立体表示再探：区域感知的MVSNet

​

Multi-View Stereo Representation Revist: Region-Aware MVSNet

解决问题：该论文旨在解决现有多视角立体视觉方法在重建无纹理区域和边界处的不足之处，探索使用点到表面距离来提高模型对表面拓扑结构的感知能力。

关键思路：论文提出了一种新的多视角立体视觉方法RA-MVSNet，该方法利用点到表面距离预测距离体积，从而提高模型对表面拓扑结构的感知能力。同时，该方法还引入了区域感知机制，通过将假设平面与表面的一个区域相关联，增强了感知范围，从而提高了对无纹理区域的重建效果。

其他亮点：论文在DTU和Tanks＆Temples数据集上进行了实验，证明了RA-MVSNet方法在重建效果上优于传统的深度学习多视角立体视觉方法。此外，该论文提出的点到表面距离预测方法和区域感知机制也具有一定的创新性和实用性。

关于作者：主要作者Yisu Zhang、Jianke Zhu、Lixiang Lin均来自中国科学院自动化研究所。他们之前的代表作包括：Yisu Zhang曾参与开发了一种基于深度学习的三维重建方法；Jianke Zhu曾发表过多篇关于计算机视觉和图像处理的论文；Lixiang Lin曾参与开发了一种基于深度学习的图像语义分割方法。

相关研究：近期的相关研究包括：《DeepMVS: Learning Multi-view Stereopsis》（Yao Yao等，香港中文大学）、《Patch-based Progressive 3D Point Set Upsampling》（Zi Jian Yew等，新加坡国立大学）、《Learning Multi-View 3D Object Reconstruction using Cross-View Consistency》（Xiaogang Wang等，香港中文大学）等。

论文摘要：这篇论文探讨了基于深度学习的多视角立体视觉重建技术，这种方法可以从多个视角重建出几何细节完整的物体。然而，现有的方法通常只估计像素点的深度值，忽略了表面拓扑结构，这对于无纹理区域和表面边界的重建非常重要。为了解决这个问题，作者建议利用点到表面的距离，以便模型能够感知更广泛的表面。为此，他们预测了从代价体到距离体的距离卷积，以估计表面周围点的有符号距离。他们提出的RA-MVSNet是patch-aware的，因为将假设平面与表面的一个补丁相关联可以增强感知范围。因此，它可以增加无纹理区域的完成度，减少边界处的异常值。此外，引入的距离卷积可以生成具有细节的网格拓扑。与传统的基于深度学习的多视角立体视觉方法相比，作者提出的RA-MVSNet方法通过利用有符号距离监督获得了更完整的重建结果。在DTU和Tanks＆Temples数据集上的实验表明，作者提出的方法实现了最先进的结果。

​Read More