慕尼黑工业大学提出Text2Room:从文本-图像生成模型中提取3D数据

1,225次阅读
没有评论

慕尼黑工业大学提出Text2Room:从文本-图像生成模型中提取3D数据

本文提出Text2Room算法,实现了以文本提示为输入从二维文本-图像生成模型中提取三维网格数据。为此,作者利用预训练的二维生成模型合成不同角度的图像,并利用一个基于文本的填补模型结合单目深度识别算法实现2D到3D的扩展。本文的主要思路是使用一个细致的视角玄策算法,从而将不同图像的内容结合到三维空间中。更进一步地,作者提出了一个持续对齐策略,从而在三维空间的中间结果中不断融合和对齐场景信息,从而实现了多目标的复杂几何表示。

标题:Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models

论文:https://arxiv.org/pdf/2303.11989.pdf

网址(可在线体验):https://lukashoel.github.io/text-to-room/

作者:Lukas Höllein, Ang Cao, Andrew Owens, Justin Johnson, Matthias Nießner

慕尼黑工业大学提出Text2Room:从文本-图像生成模型中提取3D数据

 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy