MMDR：一种自主系统的结果特征融合目标检测方法

​

MMDR: A Result Feature Fusion Object Detection Approach for Autonomous
System

解决问题：本篇论文旨在解决自主系统中的物体检测问题，提出了一种基于结果特征融合的多模态物体检测方法。相比于当前领域的研究，该方法在单模态源的深层特征表示和全局特征融合方面有所创新。

关键思路：本论文提出了一种基于结果特征融合的多模态物体检测方法，将单模态源生成的结果特征进行融合，提出了一种新的后融合网络，用于多模态物体检测。相较于之前的多模态模型，该方法在后期进行特征融合，能更好地表示单模态源的深层特征，同时在特征融合阶段加入了浅层全局特征，使模型具备感知背景信息和整体输入的能力，从而避免了漏检等问题。

其他亮点：该论文的实验设计使用了多个数据集，并提供了开源代码。作者来自北京大学和香港中文大学，他们之前在物体检测和计算机视觉领域都有较为突出的代表作。值得深入研究的是，该方法在多模态物体检测领域的表现优异，可以进一步探索其在其他领域的应用。

关于作者：本论文的主要作者是来自北京大学和香港中文大学的张文东。他们之前在物体检测和计算机视觉领域都有较为突出的代表作。例如，他们曾经提出了一种基于特征提取的物体检测方法。

相关研究：近期其他相关的研究包括：《Multi-Modal Fusion with Recurrent Neural Networks for Object Detection》（作者：Jianming Lv等，机构：香港中文大学）、《Multimodal Fusion via Graph Convolutional Networks for Object Detection》（作者：Jiawei Chen等，机构：香港中文大学）、《Multimodal Deep Learning for Robust RGB-D Object Recognition》（作者：Yunzhi Shi等，机构：香港中文大学）。这些研究都探索了多模态物体检测领域的各种方法和技术。

论文摘要：本文介绍了一种基于结果特征融合的多模态融合方法，旨在解决自主系统中的2D和3D物体检测问题。该方法利用单模态源生成的结果特征，并将它们融合到下游任务中。在此基础上，提出了一种新的后融合网络，用于多模态物体检测，该网络利用单模态结果作为特征。所提出的方法名为基于结果特征的多模态检测器（MMDR），适用于2D和3D物体检测任务。与以往的多模态模型相比，本文提出的方法在后期进行特征融合，能更好地表示单模态源的深层特征。此外，MMDR模型在特征融合阶段中还包含浅层全局特征，赋予模型感知背景信息和整体输入的能力，从而避免漏检等问题。

​Read More