港中文&Adobe：将基于格网导向的神经辐射场技术用于大型城市场景

​

纯MLP-based神经辐射场（基于NeRF的方法）由于模型容量有限，常常遭受欠拟合而在大规模场景下产生模糊的渲染。最近的一些方法提出将场景地理划分为多个子NeRF来单独建模每个区域，从而导致训练成本和子NeRF数量随场景扩大呈线性增长。另一种解决方案是使用特征格点表示，这种方法计算效率高，并且可以自然地按照网格分辨率扩展到大场景中。然而，这种特征格点往往缺乏约束力，产生噪点伪像，特别是在具有复杂几何和纹理的区域。本文提出了一个新的框架，在计算效率高的同时实现大城市场景的高保真渲染。作者建议使用紧凑的多分辨率地面特征平面表示来粗略地捕捉场景，并通过另一个NeRF分支的位置编码输入来补充，以联合学习的方式进行渲染。本文证明这种集成可以利用两种替代方案的优势：在特征格点表示的指导下，轻量级的NeRF就足以渲染出细节丰富的逼真新景；同时，联合优化的地面特征平面可以获得进一步的改进，形成更准确、更紧凑的特征空间，并输出更自然的渲染结果。

标题：Grid-guided Neural Radiance Fields for Large Urban Scenes

作者：Linning Xu  Yuanbo Xiangli  Sida Peng  Xingang Pan    Nanxuan Zhao     Christian Theobalt     Bo Dai     Dahua Lin

论文：https://papers.labml.ai/api/v1/redirect/pdf?paper_key=735dddfacc4a11edb95839eec3084ddd

项目：https://city-super.github.io/gridnerf/

​Read More