【推荐理由】本文研究了在大规模扩散模型中控制相机视角,从而实现了零样本的新视角合成和从单张图像进行3D重建。
Zero-1-to-3: Zero-shot One Image to 3D Object
[Columbia University & Toyota Research Institute]
【论文链接】https://arxiv.org/pdf/2303.11328.pdf
【项目链接】https://github.com/cvlab-columbia/zero123
【摘要】该文介绍了Zero-1-to-3,这是一个框架,可以仅通过一张RGB图像改变物体的相机视角。为了在这种不完备的情况下执行新视角合成,利用了大规模扩散模型学习的有关自然图像的几何先验知识。条件扩散模型使用合成数据集学习相对相机视角的控制,这使得可以在指定的相机变换下生成同一对象的新图像。
尽管它是在合成数据集上训练的,但该模型仍然保持了很强的零样本泛化能力,可以适应分布外的数据集以及野外图像,包括印象派绘画。该视角条件扩散方法还可以用于从单张图像进行3D重建的任务。定性和定量实验表明,该方法通过利用互联网规模的预训练,显著优于最先进的单视角3D重建和新视角合成模型。
正文完
可以使用微信扫码关注公众号(ID:xzluomor)