通用神经辐射场的显式对应匹配

​

Explicit Correspondence Matching for Generalizable Neural Radiance
Fields

解决问题：
该论文的主要目标是提出一种新的神经辐射场（NeRF）方法，以解决当前场景下NeRF方法的泛化问题，并能够在仅有两个源视图的情况下进行新视图合成。该论文提出的方法的关键思路是通过显式建模的对应关系匹配信息，为体渲染中的NeRF颜色和密度预测提供几何先验。该方法的新意在于采用了Transformer跨视图交互模型来提高特征匹配质量。

关键思路：
论文的关键思路在于显式建模对应关系匹配信息，通过对3D点在不同视图上的2D投影采样的图像特征之间的余弦相似度进行量化，提供可靠的表面几何线索，为体渲染中的NeRF颜色和密度预测提供几何先验。相比于当前领域的研究状况，该论文的思路在于采用Transformer跨视图交互模型来提高特征匹配质量，从而解决NeRF方法的泛化问题。

其他亮点：
该论文的实验结果表明，所提出的方法在不同的评估设置下均取得了最先进的结果，并且所学习的余弦特征相似度与体密度之间存在强相关性，证明了所提出方法的有效性和优越性。此外，该论文的代码已经开源，可在https://github.com/donydchen/matchnerf中获取。该论文的工作值得进一步深入研究。

关于作者：
该论文的主要作者是Yuedong Chen、Haofei Xu、Qianyi Wu、Chuanxia Zheng、Tat-Jen Cham和Jianfei Cai。他们分别来自新加坡国立大学、阿里巴巴、清华大学和南洋理工大学。他们之前的代表作包括：“Deep Cross-Modal Audio-Visual Retrieval”、“Deep Learning of Graph Matching”和“Deep Spatial Feature Reconstruction for Partially-Observed Images”。

相关研究：
近期其他相关的研究包括：“NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections”（Vincent Sitzmann、Michael Zollhöfer和Gordon Wetzstein，斯坦福大学）和“Generative Radiance Fields: High-Dimensional Encoding for Scene Representation and Rendering”（Ben Mildenhall、Pratul P. Srinivasan、Matthew Tancik、Jonathan T. Barron、Ravi Ramamoorthi和Ren Ng，加州大学伯克利分校）。

论文摘要：我们提出了一种新的通用NeRF方法，能够直接推广到新的未见场景，并使用仅两个源视图执行新颖的视图合成。我们方法的关键在于明确建模对应匹配信息，以提供几何先验，从而预测NeRF颜色和密度进行体渲染。显式的对应匹配是通过在不同视图上采样的图像特征的余弦相似度来量化的，这能够提供关于表面几何的可靠线索。与先前的方法不同，先前的方法中图像特征是独立提取的，我们考虑通过Transformer跨注意力建模跨视图交互，从而大大提高了特征匹配质量。我们的方法在不同的评估设置中实现了最先进的结果，实验表明我们学习到的余弦特征相似性与体密度之间存在强烈的相关性，证明了我们提出的方法的有效性和优越性。代码位于https://github.com/donydchen/matchnerf。

​Read More