鲁汶大学 | 神经残差辐射场用于流畅的自由视点视频

889次阅读
没有评论

【推荐理由】本文提出一种新的基于残差辐射场的技术(ReRF)用于视频渲染。大量实验证明了ReRF在紧凑表示动态辐射场方面的有效性,为速度和质量提供了前所未有的自由视点观看体验。

Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos
Liao Wang, Qiang Hu, Qihan He, Ziyu Wang, Jingyi Yu, Tinne Tuytelaars, Lan Xu, Minye Wu

 ShanghaiTech University & KU Leuven & NeuDim & DGene

【论文链接】https://arxiv.org/pdf/2304.04452.pdf

【摘要】神经辐射场(Neural Radiance Fields,NeRFs)成功地模拟和自由视角渲染静态对象,启发了许多关于动态场景的尝试。目前利用神经渲染实现自由视角视频(FVV)的技术仅限于离线渲染或仅能处理短暂序列并且有最小的运动。本文提出一种新的技术,称为残差辐射场(Residual Radiance Field,ReRF),作为高度紧凑的神经表示,以实现在长时间动态场景中实时的FVV渲染。ReRF显式地建模时空特征空间中相邻时间戳之间的残差信息,使用全局坐标为基础的微小MLP作为特征解码器。具体而言,ReRF采用紧凑的运动网格以及残差特征网格来利用帧间特征相似性。文章展示了这样的策略可以处理大运动而不会影响质量。作者进一步提出了一个连续的训练方案来维持运动/残差网格的平滑性和稀疏性。基于ReRF,文章设计了一种特殊的FVV编解码器,实现了三个数量级的压缩率,并提供了一个伴随的ReRF播放器,支持动态场景的长时间FVV在线流媒体。大量实验证明了ReRF在紧凑表示动态辐射场方面的有效性,为速度和质量提供了前所未有的自由视点观看体验。

鲁汶大学 | 神经残差辐射场用于流畅的自由视点视频

鲁汶大学 | 神经残差辐射场用于流畅的自由视点视频

 

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy