斯坦福｜人工智能驱动的EDGE舞蹈动画师

斯坦福大学的研究人员开发了一种生成性人工智能模型，可以编排人类舞蹈动画以匹配任何音乐。它被称为可编辑舞蹈地理（EDGE）。

论文地址：https://arxiv.org/abs/2211.10658

项目地址：https://edge-dance.github.io

Jonathan Tseng, Rodrigo Castellon, C. Karen Liu

论文摘要：舞蹈是一种重要的人类艺术形式，但创造新的舞蹈可能既困难又耗时。在这项工作中，我们介绍了可编辑舞蹈创作（EDGE），这是一种最先进的可编辑舞蹈生成方法，能够创造逼真的、物理上可信的舞蹈，同时忠实于输入音乐。

EDGE使用基于变压器的扩散模型与强大的音乐功能提取器Jukebox配对，并赋予了非常适合舞蹈的强大编辑功能，包括联合调节和中间。我们引入了一种新的物理合理性指标，并通过（1）关于物理合理性、节拍对齐和多样性基准的多个定量指标，以及更重要的是，（2）一项大规模的用户研究，广泛评估我们的方法产生的舞蹈质量，表明比以前最先进的方法有了显著的改进。

C.Karen Liu是斯坦福大学计算机科学系的副教授。在加入斯坦福大学之前，刘是佐治亚理工学院互动计算学院的教师。她在华盛顿大学获得了计算机科学博士学位。刘的研究兴趣是计算机图形学和机器人学，包括基于物理的动画、角色动画、最优控制、强化学习和计算生物力学。她开发了计算方法来模拟现实和自然的人类运动，学习人形机器人和辅助机器人的复杂控制策略，并推进基本数值模拟和最佳控制算法。她的实验室开发的算法和软件促进了与机器人、计算机图形学、机械工程、生物力学、神经科学和生物学研究人员的跨学科合作。刘获得了国家科学基金会职业奖，阿尔弗雷德·P。斯隆奖学金，并被《技术评论》评为35岁以下的青年创新者。2012年，刘因其在计算机图形领域的贡献获得了ACM SIGGRAPH重要新研究员奖。

https://tml.stanford.edu 

计算机科学教授Karen Liu说：“EDGE表明，支持人工智能的角色可以为舞蹈动画带来以前不可能达到的音乐性和艺术性。”她领导了一个团队，团队包括两名学生合作者Jonathan Tseng和Rodrigo Castellon，在她的实验室里。

研究人员认为，该工具将帮助编舞者设计序列，并通过可视化3D舞蹈序列向现场舞者传达他们的想法。程序高级功能的关键是可编辑性。刘想象，通过允许动画师直观地编辑舞蹈动作的任何部分，可以使用EDGE来创建计算机动画舞蹈序列。

例如，动画师可以设计角色的特定腿部动作，EDGE将以现实、无缝和物理上合理的方式从该位置“自动完成”整个身体——人类可以完成这些动作。最重要的是，这些动作与动画师选择的音乐一致。

像其他图像和文本生成模型一样——例如ChatGPT和DALL-E——EDGE代表了舞蹈创意生成和运动规划的新工具。可编辑性意味着舞蹈艺术家和编舞家可以迭代地细化他们的序列，按移动，按位置移动，在精确时刻添加特定的姿势。然后，EDGE会自动将其他细节整合到序列中。在不久的将来，EDGE将允许用户输入自己的音乐，甚至在相机前演示自己的动作。

刘说：“我们认为，对于每个人来说，不仅仅是舞者，这都是一种非常有趣和吸引人的方式，可以通过运动来表达自己，并挖掘自己的创造力。”

Tseng补充说：“凭借其响应任何音乐产生迷人舞蹈的能力，我们认为EDGE代表了技术和运动交叉的重要里程碑。”Castellon说：“它将为创造性表达和身体参与释放新的可能性。”

该团队发表了一篇论文，并将于6月在不列颠哥伦比亚省温哥华举行的计算机视觉和模式识别会议上正式介绍EDGE。还有一个名为“EDGE Playground”的网站，任何感兴趣的人都可以在这里选择曲子并观看EDGE从头开始创建新的舞蹈序列。