港中文&Adobe:将基于格网导向的神经辐射场技术用于大型城市场景

709次阅读
没有评论

港中文&Adobe:将基于格网导向的神经辐射场技术用于大型城市场景

纯MLP-based神经辐射场(基于NeRF的方法)由于模型容量有限,常常遭受欠拟合而在大规模场景下产生模糊的渲染。最近的一些方法提出将场景地理划分为多个子NeRF来单独建模每个区域,从而导致训练成本和子NeRF数量随场景扩大呈线性增长。另一种解决方案是使用特征格点表示,这种方法计算效率高,并且可以自然地按照网格分辨率扩展到大场景中。然而,这种特征格点往往缺乏约束力,产生噪点伪像,特别是在具有复杂几何和纹理的区域。本文提出了一个新的框架,在计算效率高的同时实现大城市场景的高保真渲染。作者建议使用紧凑的多分辨率地面特征平面表示来粗略地捕捉场景,并通过另一个NeRF分支的位置编码输入来补充,以联合学习的方式进行渲染。本文证明这种集成可以利用两种替代方案的优势:在特征格点表示的指导下,轻量级的NeRF就足以渲染出细节丰富的逼真新景;同时,联合优化的地面特征平面可以获得进一步的改进,形成更准确、更紧凑的特征空间,并输出更自然的渲染结果。

标题:Grid-guided Neural Radiance Fields for Large Urban Scenes

作者:Linning Xu  Yuanbo Xiangli  Sida Peng  Xingang Pan    Nanxuan Zhao     Christian Theobalt     Bo Dai     Dahua Lin

论文:https://papers.labml.ai/api/v1/redirect/pdf?paper_key=735dddfacc4a11edb95839eec3084ddd

项目:https://city-super.github.io/gridnerf/

港中文&Adobe:将基于格网导向的神经辐射场技术用于大型城市场景

港中文&Adobe:将基于格网导向的神经辐射场技术用于大型城市场景

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy