Git两天1.5K高赞项目:Grounded-Segment-Anything

856次阅读
没有评论

Git两天1.5K高赞项目:Grounded-Segment-Anything

总结:这个项目提出了一种新的“Grounded Segment Anything(点击直达)”(GSA)方法,用于在视频中提取物体段和它们所属的语义类别。GSA方法采用两个同时训练的网络:一个用于物体分割,一个用于分类。物体分割网络使用从视觉对象追踪器获取的边框作为输入,并生成对应的物体掩码。分类网络接受分割掩码作为输入,并输出每个物体的语义类别概率。通过这种联合训练,GSA方法可以在多个数据集上实现比其他方法更好的性能。此外,GSA方法还通过与其他方法的比较展示了它的鲁棒性和通用性,可以广泛应用于不同的视频段分析任务中。这一方法可在GitHub上获得代码和模型权重。

我们计划通过将Grounding DINO和Segment Anything相结合,创建一个非常有趣的演示。目前,这只是一个简单的小项目。我们将继续改进它,并创建更有趣的演示。

为什么选择这个项目?

  • Segment Anything是一个强大的分割模型。但它需要提示(如框/点)来生成掩码。
  • Grounding DINO是一个强大的零样本检测器,可以使用自由形式的文本生成高质量的盒子和标签。
  • 这两个模型的组合可以使用文本输入来检测和分割所有内容!
  • BLIP + Grounding DINO + SAM的组合用于自动标记!
  • Grounding DINO + SAM + Stable-diffusion的组合用于数据工厂,生成新数据!

Grounded-SAM

Git两天1.5K高赞项目:Grounded-Segment-Anything

Grounded-SAM + Stable-Diffusion Inpainting: 数据工厂,生成新数据

Git两天1.5K高赞项目:Grounded-Segment-Anything

BLIP + Grounded-SAM: 自动标注

Git两天1.5K高赞项目:Grounded-Segment-Anything

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy