通过经验转移学习和适应敏捷运动技能

​

Learning and Adapting Agile Locomotion Skills by Transferring Experience

解决问题：该论文旨在解决机器人在高速运动和跳跃等动态运动中控制器的设计问题。论文提出了一种通过从现有控制器中转移经验来训练机器人学习新任务的方法。

关键思路：论文的关键思路是通过在现有控制器的基础上训练机器人学习新任务，从而跨越高维、欠驱动系统探索的障碍。相比于当前领域的研究，该论文提出的方法可以更加灵活地利用已有的控制器，并且可以应用于不同的目标任务。

其他亮点：论文的实验结果表明，该方法可以训练机器人学习复杂的跳跃行为、在后腿行走时导航到目标位置，并且可以适应新的环境。此外，通过该方法学习到的机器人行为在现实世界中表现出优雅和安全性。

关于作者：Laura Smith、J. Chase Kew、Tianyu Li、Linda Luu、Xue Bin Peng、Sehoon Ha、Jie Tan、Sergey Levine都是来自加州大学伯克利分校的研究人员。Sergey Levine是机器人学和深度学习领域的知名专家，曾在NVIDIA和谷歌等公司从事研究工作。他的代表作包括《End-to-End Training of Deep Visuomotor Policies》等。

相关研究：近期其他相关研究包括《Learning to Walk via Deep Reinforcement Learning on a Humanoid Robot》（Xinghai Sun等，中科院自动化所）、《Learning Agile and Dynamic Motor Skills for Legged Robots》（Nicholas W. Rhinehart等，斯坦福大学）等。

论文摘要：学习和适应敏捷的移动技能：通过经验传递的方式。四足机器人在其能力范围上有着巨大的潜力，从穿越非结构化地形到高速奔跑。然而，为高度敏捷的动态运动设计强大的控制器仍然是机器人技术员面临的重大挑战。强化学习（RL）提供了一种有前途的数据驱动方法，可以自动训练此类控制器。然而，在这些高维度、欠驱动的系统中进行探索仍然是使四足机器人学习高性能、自然和多才多艺的敏捷技能的重大障碍。我们提出了一个框架，通过从现有控制器中传递经验来训练复杂的机器人技能，以启动学习新任务。为了利用我们在实践中可以获得的控制器，我们设计了这个框架，以其来源的灵活性为特点 – 也就是说，这些控制器可能已经针对不同的动态优化了不同的目标，或者可能需要不同的环境知识 – 因此可能对目标任务非常次优。我们展示了我们的方法可以使机器人学习复杂的敏捷跳跃行为，在后腿行走时导航到目标位置，以及适应新环境。我们还证明了以这种方式学习的敏捷行为足够优雅和安全，可以在现实世界中部署。

​Read More