苏黎世联邦理工学院：三维建模的新范式-动态点的神经场学习

​

近年来，在神经网络表面重建领域取得了重要进展。虽然人们对体积和隐式方法进行了广泛研究，但一些研究表明，显式图形基元如点云可以显著降低计算复杂度，同时不会损失重建表面的质量。然而，研究人员很少关注使用点基元建模动态表面。本文提出了一种动态点场模型，将显式点基于图形的表示优势与隐式变形网络相结合，允许高效建模非刚性3D表面。使用显式表面基元还允许我们轻松地融合诸如等面积正则化等已经成熟的约束。虽然在完全无监督的情况下学习此变形模型容易陷入局部最优，但我们建议额外利用像关键点动态这样的语义信息来指导变形学习。我们用一个例子应用来展示我们的模型——从一系列3D扫描中创建一个富有表现力的可以动画化的人体化身。在这里，先前的方法主要依赖于线性混合蒙皮范式的变体，当处理长裙等复杂服装时，这种变体在模型表达能力上受到了基本限制。我们展示了动态点场框架的优点，包括其表现能力、学习效率和对分布之外的新姿势的稳健性。

总结：

本文提出了一种称为Dynamic Point Fields（DPFs）的新的高效3D神经表示方法，可以在现实时间内生成高分辨率的动态场景。DPFs通过一组随时间变化的独立连续随机变量来表示3D场景，并且具有紧凑、可变形和高效的可渲染性能。本文还提出了一种新的可微分图像渲染器，该渲染器可以对DPFs进行直接渲染，并且可以通过梯度反向传播方法用于端到端优化。此方法不仅可以实现高质量的图像分割、行人检测和深度估计，还可以用于人体重建和姿势估计等任务。通过在一系列合成和真实世界数据集上的实验验证，本文表明DPFs在时间复杂度、空间采样、形变建模和渲染性能方面优于现有的最先进技术。

标题：Dynamic Point Fields

作者：Sergey Prokudin， Qianli Ma， Maxime Raafat， Julien Valentin， Siyu Tang

项目：https://sergeyprokudin.github.io/dpf/

​Read More