标题:Trace and Pace: Controllable Pedestrian Animation via Guided Trajectory Diffusion
作者:Davis Rempe Zhengyi Luo Xue Bin Peng Ye Yuan, Kris Kitani Karsten Kreis Sanja Fidler Or Litany
[NVIDIA& Stanford University&Carnegie Mellon University& Simon Fraser University&University of Toronto& Vector Institute]
https://nv-tlabs.github.io/trace-pace/docs/trace_and_pace.pdf
简介:
我们介绍了一种生成逼真的行人轨迹和全身动画的方法,可以控制这些动画以满足用户定义的目标。我们利用引导扩散建模的最新进展来实现通常仅与基于规则的系统相关的轨迹的测试时间可控性。我们的引导扩散模型允许用户在考虑周围环境背景的同时,通过目标航点、速度和指定的社会群体来限制轨迹。这种轨迹扩散模型与一种新颖的基于物理学的人形控制器相结合形成一个闭环的全身行人动画系统,能够将大量人群置于具有不同地形的模拟环境中。我们进一步建议利用在动画控制器的 RL 训练期间学习的值函数来引导扩散以产生更适合特定场景的轨迹,例如避免碰撞和穿越不平坦的地形。
对于轨迹生成,我们引入了一个TRA jectory Diffusion Model for Controllable P Edestrians(跟踪)。受最近通过去噪生成轨迹成功的启发,TRACE 为场景中的每个行人生成未来轨迹,并通过在去噪期间在本地查询的学习地图特征的空间网格来解释周围环境。用户控制的采样是通过测试时间指导实现的,它会扰乱每个去噪步骤的输出以达到预期目标。我们为行人引入了几个分析损失函数,并重新制定轨迹引导以对模型的干净轨迹输出进行操作,提高样本质量并遵守用户目标。
对于角色 动画,我们开发了一个 通用的行人动画控制器ER(PACER) 能够驱动具有不同体型的物理模拟人形机器人遵循高级规划师的轨迹。我们专注于 (1) 运动质量:PACER 从小型运动数据库中学习,通过对抗运动学习创建自然逼真的运动;(2) 地形和社会意识:通过与其他人形机器人在不同地形中学习,PACER 学会在楼梯、斜坡、不平坦的表面上移动,并避开障碍物和其他行人;(3) 多样的体型:PACER通过对不同体型的训练,借鉴多年的模拟经验,控制范围广泛的角色;(4) 与高层规划师的兼容性:
我们的系统可以模拟大量行人。引导轨迹扩散有助于避免碰撞(左)并形成用户指定的社会群体(右)。