约翰霍普金斯大学提出Mask-free OVIS：利用开放词汇解决实例分割的标注困难

​

本文提出了一种名为 Mask-free OVIS 的实例分割方法，该方法无需手工标注掩模，使用开放词汇（open-vocabulary）模型处理图像中的实例，并通过同步互补性技术提高准确性。

该方法包括两个步骤：实例检测（instance detection）和实例分割（instance segmentation）。在实例检测中，使用ResNet50-FPN网络对图像中的实例进行检测。然后，在实例分割中，利用一个开放词汇的生成模型（open vocabulary generative model）来识别前一步中检测到的实例并进行分割。

不同于传统的实例分割方法，该方法不需要手动生成实例的掩模，而是使用开放词汇模型来生成实例的轮廓。此方法的主要优点是大大降低了标注数据的成本。此外，通过使用同步互补性技术，可以进一步提高准确性。

在多个数据集上进行的实验表明，Mask-free OVIS方法在不需要手动标记掩模的情况下可以获得与传统方法相当的准确性，并且性能随着训练数据集的增加而不断提升。该方法还可以处理具有复杂形状或重叠实例等挑战性实例分割问题。

总之，本文展示了一种创新的实例分割方法，该方法无需手工标注掩模，使用开放词汇模型处理图像中的实例，并且具有更低的标注成本和更高的准确性。这种方法可能会在许多实际应用场景中产生广泛的影响。

标题：Mask-free OVIS: Open-Vocabulary Instance Segmentation without Manual Mask Annotations

作者：Vibashan VS, Ning Yu, Chen Xing, Can Qin, Mingfei Gao, Juan Carlos Niebles（研究总监）, Vishal M. Patel, Ran Xu

平台：https://vibashan.github.io/ovis-web/

​Read More