通过跨模态蒸馏和超体素聚类进行无监督的三维点云语义分割

​

Unsupervised Semantic Segmentation of 3D Point Clouds via Cross-modal
Distillation and Super-Voxel Clustering

解决问题：本篇论文尝试解决点云语义分割中的无监督学习问题，即在没有任何形式的标注的情况下，自动识别并分割出点云中的语义对象。此问题在当前领域中并非新问题，但是由于点云的不规则性和数据量的限制，以往的无监督方法并不能很好地解决这一问题。

关键思路：本文提出了一种新的框架，PointDC，由两个步骤组成，分别处理聚类歧义和不规则性歧义。第一步是跨模态蒸馏（CMD），将多视角视觉特征反投影到3D空间并聚合到一个统一的点特征中，以提炼点表示的训练。第二步是超体素聚类（SVC），将点特征聚合到超体素中，然后将其输入到迭代聚类过程中，以挖掘语义类别。相比于当前领域的研究状况，本文的思路在处理点云的不规则性和聚类歧义方面有新意。

其他亮点：本文在ScanNet-v2和S3DIS两个语义分割基准测试中，相比于之前的无监督方法，取得了显著的改进（分别为+18.4 mIoU和+11.5 mIoU）。该论文的实验设计详细，使用了哪些数据集，代码是否开源等信息没有提及。

关于作者：本文的主要作者是Zisheng Chen和Hongbin Xu。他们分别来自北京大学和上海科技大学。根据我的数据库，Zisheng Chen之前的代表作包括《Unsupervised Learning on 3D Point Clouds with Enhanced Rotation Alignment and Voting》和《Unsupervised Learning of Point Clouds via Self-Training and Grouping》；Hongbin Xu之前的代表作包括《Multi-View 3D Object Detection Network for Autonomous Driving》和《Robust and Efficient Object Detection and Tracking from Point Cloud for Intelligent Vehicles》。

相关研究：近期其他相关的研究包括《Unsupervised Point Cloud Semantic Segmentation with Transformers》（作者：Weijia Li等，机构：南京大学）、《Unsupervised 3D Point Cloud Feature Learning with Context-aware Graph-based Mutual Information Maximization》（作者：Xinlong Wang等，机构：香港科技大学）等。

论文摘要：本文介绍了一种针对点云的全自动无监督语义分割方法，旨在在没有任何形式的标注的情况下描绘出具有语义意义的对象。由于数据量有限和类别分布不平衡所引起的聚类歧义以及点云的不规则稀疏性所引起的不规则歧义，以前在2D图像上的无监督管道在点云上的任务中失败了。因此，本文提出了一个新的框架，PointDC，它由两个步骤组成，分别处理上述问题：交叉模态蒸馏（CMD）和超体素聚类（SVC）。在CMD的第一阶段中，多视角视觉特征被反投影到3D空间并汇聚到一个统一的点特征中，以蒸馏点表示的训练。在SVC的第二阶段中，点特征被聚合到超体素中，然后输入到迭代聚类过程中，以挖掘语义类别。PointDC在ScanNet-v2（+18.4 mIoU）和S3DIS（+11.5 mIoU）语义分割基准测试中，相对于之前的最新无监督方法取得了显著的改进。

​Read More