NVIDIA | SKED：以草图为指导的基于文本的三维编辑

​

本文提出了SKED，一种以文本和草图为条件的NeRF编辑方法。使用新的损失函数，框架允许对神经场进行局部编辑。该方法利用SDS损失，可能会受到众所周知的 “多面性问题”的影响，这取决于对扩散模型和提示的选择。该方法一次只支持一组提示和草图视图。一个简单的解决方法是逐步多次应用我们的方法。

SKED: Sketch-guided Text-based 3D Editing
Aryan Mikaeili, Or Perel, Daniel Cohen-Or, Ali Mahdavi-Amiri

[Simon Fraser University & NVIDIA & Tel Aviv University]

1. 文本到图像的扩散模型逐渐被引入到计算机图形学中，最近在一个开放的领域中实现了文本到三维管道的发展。然而，出于互动编辑的目的，通过简单的文本界面对内容进行局部操作可能是很困难的。将用户指导的草图与文本到图像的管道结合起来，可以为用户提供更直观的控制。然而，由于最先进的文本到三维管道依赖于通过任意渲染视图的梯度来优化神经辐射场（NeRF），对草图的调节并不直接。
2. 在本文中，提出了SKED，一种用于编辑由NeRFs代表的3D形状的技术。该技术利用来自不同视图的仅有的两个指导性草图来改变现有的神经区域。编辑后的区域通过预先训练的扩散模型尊重提示语义。为了确保生成的输出符合所提供的草图，提出了新的损失函数来生成所需的编辑，同时保留基础实例的密度和辐射度。
3. 通过几个定性和定量的实验证明了我们提出的方法的有效性。

https://arxiv.org/pdf/2303.10735.pdf