大雪 | 三维人体动作：从捕捉系统到生成模型

先来看一段视频：

视频节选自：

https://youtu.be/4NU9ikjqjC0?si=5tPlnB7YeAk_zBt3

https://youtu.be/hZhiwppXdJ8?si=BmRynC_sG654EcjK

什么是三维人体动作？

三维人体动作是指在三维空间中对人体躯体、手部、面部等部位动作的模拟和表现技术。这种技术不仅涉及动作本身，还包括动作背后的力量、速度和动力学参数等。三维动作捕捉技术能够提供比二维更加深入和全面的人体运动分析，使我们能够更准确地理解和模拟人体动作，对人机协作、电影工业、体育科学、医学研究、人形机器人等技术领域发展都有着重要价值，如视频所示，三维人体动作的捕捉技术就被应用于各种电影特效制作中。

不同的三维人体模型（keypoint-based、marker-based、rotation-based）[1][6]

动作捕捉技术

近年来，动作捕捉技术已广泛应用于影视制作、体育科学和医学研究。其中，Vicon 运动捕捉（mocap）技术[2]，作为一种先进的动作捕捉系统，主要用于记录物体或人体的运动，然后进行后处理和编辑。它通常使用带有标记（marker）的光学或者惯性动作捕捉技术和配套的红外摄像机。Vicon 的软件以其精确的运动捕捉算法、准确的校准、强大的实时跟踪能力以及高效的标记和解算功能而闻名。Vicon 系统之所以精确，是因为它使用了定制的传感器、高灵敏度像素和专门的校准设备，以确保尽可能精确地捕捉数据。

三维人体动捕系统[3][4]

动作生成模型

然而，在实际应用中，高质量的动捕系统往往价格昂贵，且需要专业的设备和环境。例如，多摄像头系统需要在特定的空间内进行校准，并且对环境光线有特定要求，且动捕数据需要通过复杂的后期处理才能转化为可用的动画或分析结果，这一过程既耗时又技术要求高，导致其往往只能应用于动捕棚等专业环境。因此，在深度学习的加持下，人体动作生成模型成为了近年的研究热点，掀起了一股热潮。它旨在基于用户给定条件生成逼真、高质量的人体动作，突破传统动作捕捉的限制。这项技术利用深度学习模型如扩散模型（Diffusion Model）[5]，来学习和模拟人类动作的特点。可以做到基于不同模态条件（如文本描述、音频、场景等）进行动作生成，这意味着即使没有捕捉的具体动作数据，我们也能生成逼真的人体动作[7]，这对于动画制作、游戏开发等领域具有重要意义。

人体动作生成模型技术概览[1]

一点展望

未来，三维人体动作的捕捉和生成技术将更加先进和精准。我们可以预见，随着技术的发展，这些工具不仅能够捕捉更复杂和微妙的动作，还能在虚拟和增强现实中实时生成逼真的人体动作。这将极大地推动医疗体育娱乐、智能机器人等多个领域的发展。笔者在此小小畅想一下，希望在不久的将来，三维人体动作捕捉与生成技术可以用更小的“体形”，走进更多的场景，为现代生活带来意想不到的改变和进步。

References:

[1] Wentao Zhu, et al. “Human motion generation: A survey.” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023.

[2] Alexandra Pfister, et al. “Comparative abilities of Microsoft Kinect and Vicon 3D motion capture for gait analysis.” Journal of Medical Engineering & Technology, 2014.

[3] M. Tejera, D. Casas, and A. Hilton. “Animation control of surface motion capture.” IEEE Transactions on Cybernetics, 2013.

[4] X. Zhang, B. L. Bhatnagar, S. Starke, V. Guzov, and G. Pons-Moll. “Couch: towards controllable human-chair interactions.” ECCV 2022.

[5] G. Tevet, S. Raab, B. Gordon, Y. Shafir, D. Cohen-Or, and A. H. Bermano. “Human Motion Diffusion Model.” ICLR 2023.

[6] M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black. “SMPL: a skinned multi-person linear model.” ACM Transactions on Graphics, 2015.

[7] B. L. Bhatnagar, X. Xie, I. A. Petrov, C. Sminchisescu, C. Theobalt, and G. Pons-Moll. “BEHAVE: Dataset and Method for Tracking Human Object Interactions.” IEEE/CVF CVPR 2022.

文 | 张金禄

图 | 除标注外，源自网络

—   版权声明  —

本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。