Meta AI|DINOv2: 在没有监督的情况下学习鲁棒的视觉特征

680次阅读
没有评论

DINOv2: Learning Robust Visual Features without Supervision

Maxime Oquab, Timothée Darcet, Théo Moutakanni, Huy Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel Haziza, Francisco Massa, Alaaeldin El-Nouby, Mahmoud Assran, Nicolas Ballas, Wojciech Galuba, Russell Howes, Po-Yao Huang, Shang-Wen Li, Ishan Misra, Michael Rabbat, Vasu Sharma, Gabriel Synnaeve, Hu Xu, Hervé Jegou, Julien Mairal, Patrick Labatut, Armand Joulin, Piotr Bojanowski

[Meta AI Research]

DINOv2: 在没有监督的情况下学习鲁棒的视觉特征

要点:

  • 动机:在计算机视觉领域提出一种新的自监督学习方法,使得生成通用视觉特征成为可能。这种方法可以极大地简化图像在各种系统中的使用,而无需针对每个任务进行微调。
  • 方法:提出一种自监督学习方法,使用精心筛选的大量图像数据进行预训练,并利用自动流程构建数据集以提高稳定性和加速训练。使用ViT模型进行训练,并将其蒸馏为一系列较小的模型,这些模型在各种基准测试中表现出色。
  • 优势:所提出的方法具有很多优势,其中最重要的是生成通用视觉特征,无需微调即可在各种图像分布和任务中使用。此外,所提出的自动流程可以提高稳定性和加速训练,使得该方法比其他自监督学习方法快两倍,需要的内存也少三倍。

一句话总结:
提出一种自监督学习方法DINOv2,可在不需要微调的情况下,生成适用于各种图像分布和任务的通用视觉特征,使用精心筛选的大量图像数据进行预训练,并利用自动流程构建数据集以提高稳定性并加速训练。

https://arxiv.org/abs/2304.07193 
Meta AI|DINOv2: 在没有监督的情况下学习鲁棒的视觉特征
Meta AI|DINOv2: 在没有监督的情况下学习鲁棒的视觉特征
Meta AI|DINOv2: 在没有监督的情况下学习鲁棒的视觉特征

 

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy