利用有效视野桥接强化学习理论与实践

​

Bridging RL Theory and Practice with the Effective Horizon

解决问题：本篇论文旨在解决深度强化学习在某些环境中表现出色，而在其他环境中则失败的问题。作者试图通过提出一个新的数据集和一个新的复杂度度量方法，来比较标准的深度强化学习算法和之前的样本复杂度边界，以便更好地理解为什么深度强化学习在不同环境下表现不同。

关键思路：本文的关键思路是提出了一种新的复杂度度量方法——有效视野，来更好地理解深度强化学习的表现。作者发现，当随机策略下具有最高 Q 值的动作在最优策略下也具有最高 Q 值时，深度强化学习往往能够成功；反之，则往往失败。作者将这一性质推广为一个新的复杂度度量方法——有效视野，该方法大致对应于在评估叶节点时需要多少步的前瞻搜索才能确定下一个最优动作。使用新数据集 BRIDGE，作者表明，基于有效视野的边界更能反映 PPO 和 DQN 的实际表现，而不是之前的样本复杂度边界。

其他亮点：本文的实验使用了一个新的数据集 BRIDGE，该数据集包含了来自常见深度强化学习基准测试的 155 个 MDP，以及它们对应的表格表示。作者还展示了有效视野如何预测使用奖励塑形或预训练探索策略的效果。此外，本文还提出了一种新的复杂度度量方法，该方法可以用于评估深度强化学习算法的性能，并且更能反映实际表现。

关于作者：本文的主要作者包括 Cassidy Laidlaw、Stuart Russell 和 Anca Dragan。他们分别来自加州大学伯克利分校和加州大学伯克利分校的机器人学实验室。Stuart Russell 是人工智能领域的知名学者，他的代表作包括《人工智能：现代方法》和《合理推理的人工智能》等。Anca Dragan 是机器人学领域的专家，她的代表作包括《机器人运动规划》和《交互式机器人》等。

相关研究：近期其他相关的研究包括：

1. “Sample Complexity of Deep Reinforcement Learning with Linear Function Approximation”，作者为 Hado van Hasselt、Arthur Guez 和 David Silver，发表于 2016 年的国际机器学习会议。

2. “Deep Reinforcement Learning that Matters”，作者为 Matthias Plappert、Marvin Zhang 和 Alex Irpan，发表于 2018 年的人工智能与统计学会议。

3. “On the Spectral Bias of Deep Q-Learning”，作者为 Mohammad Gheshlaghi Azar、Ian Osband 和 Rémi Munos，发表于 2019 年的人工智能与统计学会议。

论文摘要：本文的题目为《用有效视野将强化学习理论和实践联系起来》。作者 Cassidy Laidlaw、Stuart Russell和Anca Dragan指出，深度强化学习在某些环境中表现出色，但在其他环境中则失败得很惨。理想情况下，强化学习理论应该能够解释这一现象，即提供能够预测实际表现的边界。然而，目前的理论并没有完全具备这种能力。本文通过引入一个新的数据集BRIDGE，将标准的深度强化学习算法与样本复杂度边界进行比较。BRIDGE数据集包含来自常见深度强化学习基准测试的155个MDP，以及它们对应的表格表示，这使得我们能够准确地计算实例相关的边界。研究发现，以往的边界与深度强化学习的成功或失败之间没有很好的相关性，但是发现了一个令人惊讶的属性。当随机策略下具有最高Q值的动作在最优策略下也具有最高Q值时，深度强化学习往往会成功；反之亦然。作者将这个属性概括为MDP的一个新的复杂度度量，称为有效视野，它大致对应于需要多少步的前瞻搜索才能在使用随机模拟时确定下一个最优动作。使用BRIDGE数据集，作者展示了基于有效视野的边界比以往的样本复杂度边界更能反映PPO和DQN的实证表现。此外，作者还展示了，与现有边界不同，有效视野可以预测使用奖励塑形或预先训练的探索策略的效果。

​Read More