哥伦比亚大学 | Zero-1-to-3: 由一张图像生成三维物体

1,270次阅读
没有评论

【推荐理由】本文研究了在大规模扩散模型中控制相机视角,从而实现了零样本的新视角合成和从单张图像进行3D重建。

Zero-1-to-3: Zero-shot One Image to 3D Object

[Columbia University & Toyota Research Institute]

【论文链接】https://arxiv.org/pdf/2303.11328.pdf

【项目链接】https://github.com/cvlab-columbia/zero123

【摘要】该文介绍了Zero-1-to-3,这是一个框架,可以仅通过一张RGB图像改变物体的相机视角。为了在这种不完备的情况下执行新视角合成,利用了大规模扩散模型学习的有关自然图像的几何先验知识。条件扩散模型使用合成数据集学习相对相机视角的控制,这使得可以在指定的相机变换下生成同一对象的新图像。

尽管它是在合成数据集上训练的,但该模型仍然保持了很强的零样本泛化能力,可以适应分布外的数据集以及野外图像,包括印象派绘画。该视角条件扩散方法还可以用于从单张图像进行3D重建的任务。定性和定量实验表明,该方法通过利用互联网规模的预训练,显著优于最先进的单视角3D重建和新视角合成模型。

 

哥伦比亚大学 | Zero-1-to-3: 由一张图像生成三维物体

 

 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy