特拉维夫大学 | 全局-本地培训用于生成可控制的 NeRF 场景

​

【推荐理由】最近的方法通过优化神经辐射场（NeRF）能够产生出色的结果。然而，这些方法在控制每个对象的位置或外观方面存在局限性。这在需要对场景中的对象进行精细化或操作的情况下可能是一个重大问题。

Set-the-Scene: Global-Local Training for Generating Controllable NeRF Scenes

Dana Cohen-Bar, Elad Richardson, Gal Metzer, Raja Giryes, Daniel Cohen-Or

[Tel Aviv University]

【论文链接】https://arxiv.org/pdf/2303.13450.pdf

最近在文本引导图像生成方面的突破性进展在3D合成领域取得了显著的进展。通过直接从文本中优化神经辐射场（NeRF），最近的方法能够产生令人惊叹的结果。然而，这些方法在控制每个对象的放置或外观方面存在局限性，因为它们代表整个场景。这在需要精炼或操纵场景中的对象的情况下可能是一个重大问题。为了解决这个缺陷，本文提出了一个新颖的全局局部训练框架，用于使用对象代理合成3D场景。代理表示对象在生成的场景中的放置，并可选择定义其粗略几何形状。该方法的关键在于将每个对象表示为独立的NeRF。作者在优化每个NeRF时交替进行，使其成为完整场景的一部分。因此，可以学习每个对象的完整表示，并创建具有样式和照明匹配的和谐场景。作者表明，使用代理允许各种各样的编辑选项，例如调整每个独立对象的放置，从场景中移除对象或精炼对象。实验结果表明，Set-the-Scene提供了一个强大的解决方案，用于场景合成和操作，填补了可控文本到3D合成中的关键空缺。

​Read More