自动驾驶中用于物体检测和语义分割的雷达-摄像头融合技术：一篇综述性文章

​

Radar-Camera Fusion for Object Detection and Semantic Segmentation in
Autonomous Driving: A Comprehensive Review

解决问题：本篇论文旨在提供一个全面的指南，以便进行雷达-相机融合，特别是针对与目标检测和语义分割相关的感知任务。雷达和相机传感器的融合可以实现对周围环境的互补和经济有效的感知，无论光照和天气条件如何。本文试图解决如何进行雷达-相机融合的问题，并回答了“为什么融合”、“融合什么”、“在哪里融合”、“何时融合”和“如何融合”等问题。

关键思路：本文的关键思路是提供一个全面的指南，以便进行雷达-相机融合，特别是针对与目标检测和语义分割相关的感知任务。与当前领域的研究相比，本文的思路在于提供了一个全面的指南，解决了雷达-相机融合的各种问题和挑战。

其他亮点：本文还提供了一个交互式网站，以便进行数据集和融合方法的检索和比较。实验使用了多个数据集，并讨论了各种雷达-相机融合方法的挑战和潜在研究方向。本文值得深入研究的工作包括如何提高雷达-相机融合的精度和鲁棒性，以及如何将其应用于更广泛的场景。

关于作者：本文的主要作者来自西交利物浦大学和新加坡南洋理工大学，他们之前的代表作包括“Real-time Pedestrian Detection with Deep Network Cascades”（Shaoqing Ren）、“Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”（Shaoqing Ren）和“Deep Residual Learning for Image Recognition”（Kaiming He）等。

相关研究：近期其他相关的研究包括“Radar and Camera Sensor Fusion for Object Detection and Tracking in Autonomous Vehicles: A Survey”（Mohamed Elbanhawi等）、“Radar-Camera Sensor Fusion for Autonomous Driving: A Survey”（Xiaozhi Chen等）和“Multi-Sensor Fusion for Semantic Segmentation in Autonomous Driving: A Review”（Xiaoyu Huang等）。

论文摘要：这篇文章主要介绍了自动驾驶中的感知技术，尤其是目标检测和语义分割方面的雷达-摄像头融合。由于深度学习技术的发展，自动驾驶的感知技术在近年来得到了快速发展。为了实现准确和稳健的感知能力，自动驾驶汽车通常配备多个传感器，因此传感器融合成为感知系统的关键部分。在这些融合传感器中，雷达和摄像头能够提供互补且成本效益高的环境感知，无论光照和天气条件如何。本文旨在提供一个雷达-摄像头融合的全面指南，详细介绍了雷达和摄像头传感器的原理、数据处理过程和表示方法，并深入分析和总结了雷达-摄像头融合数据集的特点。在介绍雷达-摄像头融合的方法时，文章回答了一系列问题，包括“为什么要融合”、“融合什么”、“在哪里融合”、“何时融合”和“如何融合”，并讨论了该领域的各种挑战和潜在的研究方向。为了方便数据集和融合方法的检索和比较，文章还提供了一个互动网站：https://XJTLU-VEC.github.io/Radar-Camera-Fusion。

​Read More