MetaBEV: 解决BEV检测和地图分割中的传感器故障问题

​

MetaBEV: Solving Sensor Failures for BEV Detection and Map Segmentation

解决问题：
该论文旨在解决自动驾驶车辆中传感器失效和异常情况下的感知问题，提出了一种名为MetaBEV的框架，用于处理多模态传感器信号的异常情况，包括六种传感器失效和两种极端的传感器缺失情况。

关键思路：
MetaBEV首先通过模态特定的编码器处理多个传感器的信号，然后初始化一组密集的BEV查询，称为meta-BEV。这些查询通过BEV-Evolving解码器进行迭代处理，选择性地聚合来自LiDAR、相机或两种模态的深度特征。更新后的BEV表示进一步用于多个三维预测任务。此外，论文还引入了一种新的M2oE结构，以缓解多任务联合学习中不同任务的性能下降。

其他亮点：
论文在nuScenes数据集上评估了MetaBEV的性能，并展示了其在全模态和受损模态下均优于先前的方法。此外，MetaBEV在规范感知和多任务学习设置下表现出色，刷新了nuScenes BEV地图分割的最新成果。

关于作者：
论文的主要作者包括Chongjian Ge、Junsong Chen、Enze Xie等人，他们来自中国的多个机构，包括南京大学、南京邮电大学、中山大学等。他们之前的代表作包括《Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics》、《Learning to Segment Instances in Videos with Spatial Propagation Network》等。

相关研究：
近期其他相关的研究包括：

1. “Robust and Efficient Perception with Distributional Sparsification”，作者：Xin Li，Zhihao Li，等，机构：加州大学伯克利分校；
2. “Efficient and Robust Multi-Modal Sensor Fusion with Sparse Codes”，作者：Yi Zhou，Xiaoming Liu，等，机构：美国德克萨斯大学奥斯汀分校。

论文摘要：本文提出了一个名为MetaBEV的强健框架来解决自动驾驶车辆中传感器损坏和故障导致性能下降的问题。在现实世界中，传感器的损坏和故障会导致自主安全受到威胁。MetaBEV通过对多个传感器信号进行模态特定编码器处理，并初始化一组密集的BEV查询，即元BEV。这些查询随后由BEV演化解码器进行迭代处理，从LiDAR、相机或两种模式中选择性地聚合深度特征。更新的BEV表示进一步用于多个3D预测任务。此外，作者还引入了一个新的M2oE结构来缓解多任务联合学习中不同任务的性能下降。最后，MetaBEV在nuScenes数据集上进行了评估，包括3D物体检测和BEV地图分割任务。实验证明，MetaBEV在全模态和损坏模态下都比之前的方法表现更优秀。例如，当LiDAR信号缺失时，MetaBEV在检测NDS和分割mIoU上分别提高了35.5%和17.7%；当相机信号缺失时，MetaBEV仍然实现了69.2%的NDS和53.7%的mIoU，甚至比之前在全模态下表现的方法还要高。此外，MetaBEV在规范感知和多任务学习设置下都与之前的方法表现相当，刷新了nuScenes BEV地图分割的最新技术，达到了70.4%的mIoU。

​Read More