小雪 | 通用的移动操作机器人还有多远？

近年来，得益于大量数据和先进的视觉语言模型，通用移动操作机器人在技术上取得了显著进展。例如，我们已经可以看到机器人根据指令完成清理桌面和分类物品等复杂任务的演示。这些突破性成就逐渐激发了大众对于移动操作机器人融入日常生活的期待。但要实现这一目标，我们还有多远的路要走？

视频来源：

https://robotics-transformer1.github.io/img/saycan_rt1_demo1_comp.mp4

首先，我们需要明确移动操作机器人（Mobile Manipulator Robots）的定义。移动操作机器人是一种复杂的机器人系统，它结合了移动平台（如轮式或足式）和机械臂的功能（如图示中的 TIAGo 和 Unitree 移动机器人）。移动平台赋予机器人在空间中的移动能力，而机械臂则提供执行具体任务的功能，如抓取、搬运、装配或其他精细的机械操作。由于这种机器人兼具灵活性和操作能力，它们在帮助或替代人类执行特定任务方面显示出巨大潜力。通用移动操作机器人算法则是研究如何让移动操作机器人具有泛化执行多项任务的能力，使其能够适应各种不同环境和任务，而不仅仅局限于特定场景或任务。

TIAGo 机器人（左）；Unitree B1 +Z1（右）

在近年来的通用移动操作机器人算法研究中，主要存在两类方法。第一类是基于技能协调（Skills Coordination）的方法，这类方法通过整合多种子任务（例如抓取、物体导航、语言决策等）来逐步增强机器人的能力。这类方法的代表性工作包括 Meta AI的Adaptive Skill Coordination[1]和 Language-guided Skill Coordination[2]。这种方法能够从机器人学领域的进展中直接受益，并通过人为设计或者学习特定的协调策略来整合这些子任务，从而实现更复杂的长期任务。这种做法的主要优点是灵活性高：无论是通过算法设计还是收集特定数据用于学习，掌握这些子任务要容易得多，成本也较低。相对应的，这类方法的表现受限于各个子任务的能力，并且随着子任务数量的增加，对协调策略的要求也相应提高。

Adaptive Skill Coordination pipeline overview[1]

第二类工作则关注于构建大规模泛化移动操作机器人的数据集，并通过端到端的学习方法来训练通用移动操作机器人。一个典型的例子是谷歌的 Rt 系列研究[3,4]。谷歌的机器人硬件团队（Everyday Robots Project）开发了自己的移动操作原型机器人。利用这些原型机，他们收集了约13万条数据，这些数据包括13台原型机执行的700种不同任务的示范（demonstration）。通过学习大量的真实世界示范数据，模型展现出一定程度的在真实环境中执行泛化任务的能力。但这种方法的一个问题是，收集这种规模的真实数据成本极高。有些研究团队考虑用模拟器来获取更多数据，但这也引入了机器人从模拟器到真实世界环境的泛化能力的挑战（sim-to-real gap）。尽管如此，数据收集的重要性在学术界逐渐形成共识，一些研究项目，如 Open X-Embodiment[5]，已经开始收集大量数据，以支持真实世界机器人的学习需求。

RT-1 pipeline overview[3]

关于这两类方法是否能满足我们对通用移动操作机器人的期望，作者认为，已有的研究展示了通用移动操作机器人的潜在可行性。然而，这种可能性目前仍属于探索阶段，存在多方面的局限性，包括应用场景、任务种类以及被操作物体的多样性等。在真实环境中，机器人会遇到许多边缘情况，例如透明的物体，柔性物体和镜子，这些情况会给任务的执行带来额外的难度。更坏的情况是，机器人在实际执行任务时的错误还可能对环境和机器人自身造成物理损害和其他风险。

未来，通过收集更多的数据和设计更优的算法，通用移动操作机器人的性能有望得到持续提升。与此同时，确定机器人适用的最佳场景和任务类型也会是一个需要持续探索的问题。这要求研究者不仅要关注技术的进步，还需考虑机器人在不同环境和应用中的实际适用性。

幸运的是，尽管通用移动操作机器人在实现日常生活应用方面仍面临诸多挑战，但近年来的研究进展令人鼓舞 。例如在2019年，Meta 的研究人员发起了 Habitat Challenge[6]，创建了一个模拟器来评估机器人在给定特定目标位置下的简单的路径规划能力。四年后，在2023年的 CVPR 会议上，Meta 的研究团队已经实机展示了机器人根据语言指令寻找、抓取和放置特定物体的能力。虽然通用移动操作机器人进入千家万户的日常生活还有很长的路要走，但该领域的发展速度足够让我们对未来保持乐观的态度。

左图：Habitat challenge PointGoal Navigation；右图：拍摄于 CVPR 2023 Meta AI 展台

References:

[1] Yokoyama N, Clegg A W, Undersander E, et al. Adaptive Skill Coordination for Robotic Mobile Manipulation[J]. arXiv preprint arXiv:2304.00410, 2023.

[2] https://languageguidedskillcoordination.github.io/

[3] Brohan A, Brown N, Carbajal J, et al. Rt-1: Robotics transformer for real-world control at scale[J]. arXiv preprint arXiv:2212.06817, 2022.

[4] Brohan A, Brown N, Carbajal J, et al. Rt-2: Vision-language-action models transfer web knowledge to robotic control[J]. arXiv preprint arXiv:2307.15818, 2023.

[5] Padalkar A, Pooley A, Jain A, et al. Open x-embodiment: Robotic learning datasets and rt-x models[J]. arXiv preprint arXiv:2310.08864, 2023.

[6] Savva M, Kadian A, Maksymets O, et al. Habitat: A platform for embodied ai research[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 9339-9347.

文 | 张嘉曌

图 | 除标注外，源自网络

—   版权声明  —

本微信公众号所有内容，由北京大学前沿计算研究中心微信自身创作、收集的文字、图片和音视频资料，版权属北京大学前沿计算研究中心微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。