DriveDreamer: 自动驾驶基于真实世界驱动世界模型研究

​

DriveDreamer: Towards Real-world-driven World Models for Autonomous Driving

X Wang, Z Zhu, G Huang, X Chen, J Lu
[GigaAI]

DriveDreamer: 自动驾驶基于真实世界驱动世界模型研究

要点:

• 提出DriveDreamer，第一个从真实世界驾驶视频和行为中派生的世界模型，可以生成高质量的驾驶视频和合理的驾驶策略。
• 引入自动驾驶扩散模型(Auto-DM)和两阶段训练流程，以增强对真实世界驾驶场景的理解。
• 结合HD地图和3D框等结构化交通条件来控制视频生成，使用文本提示调整场景样式。
• 通过采取驾驶动作与环境交互，生成不同的未来驾驶视频，还可以预测未来的驾驶动作。
• 在nuScenes数据集上实现了领先的视频生成质量，生成的驾驶动作也展现了非常有希望的结果。
• DriveDreamer展现了对自动驾驶场景的深刻理解，有望用于训练驾驶模型。

动机：现有的世界模型在自动驾驶领域主要集中于游戏环境或模拟环境，缺乏对真实世界驾驶场景的建模。因此，本文 旨在提出一种从真实驾驶场景中构建世界模型的方法。 方法：引入DriveDreamer，一个完全基于真实驾驶场景构建的世界模型。提出一种名为自动驾驶扩散模型(Auto-DM)的方法，利用强大的扩散模型来构建复杂环境的全面表示。还介绍了一个两阶段的训练流程，第一阶段训练Auto-DM以获取对结构化交通约束的深入理解，第二阶段训练通过视频预测建立世界模型。 优势：DriveDreamer是第一个从真实驾驶场景中建立的世界模型。通过在nuScenes基准测试上的实验验证，DriveDreamer能够精确、可控地生成与交通约束高度一致的驾驶场景视频，同时能够生成基于历史观察和Auto-DM特征的逼真且合理的驾驶策略。

一句话总结:
提出从真实驾驶场景中构建世界模型的DriveDreamer方法，通过自动驾驶扩散模型(Auto-DM)来建立对复杂驾驶环境的全面表示，并通过两阶段的训练流程实现精确、可控的驾驶场景视频生成和逼真的驾驶策略生成。

https://arxiv.org/abs/2309.09777 

​Read More