佐治亚理工：LANe，在场景合成中考虑光照布局

​

近年来神经场广泛应用于3D场景的表示和渲染。然而，大多数最先进的隐式表示模型将静态或动态场景作为整体进行建模，细微变化不被考虑。现有的学习解耦世界与对象神经场的研究没有考虑以光照感知的方式将对象合成到不同的世界神经场中的问题。因此，本文提出了Lighting-Aware Neural Field (LANe)模型，以一种物理一致的方式合成驾驶场景。具体地，本文学习了一种场景表示法，将静态背景和瞬态元素分解为世界NeRF和特定类别的对象NeRF，以允许合成场景中的多个对象。此外，本文明确设计了世界和对象模型以处理光照变化，使本文能够将对象组合成具有空间变化照明的场景中。通过构建场景的光场并与学习的着色器一起使用，来调节对象NeRF的外观。本文在使用CARLA模拟器渲染的具有多种照明条件的合成数据集上，以及一组收集于不同时间的汽车的新颖的实际数据集上展示了本文模型的性能。本文的方法展示了它在具有挑战性的数据集上优于最先进的合成场景合成，通过将从一个场景中学习的对象NeRF合成到一个完全不同的场景中，同时仍然考虑新场景中的光照变化。

总结：

LANe是一种用于场景合成的深度神经网络模型，它能够根据输入的场景布局，自动合成明暗渐变、阴影和反射等灯光效果，实现高质量的场景合成。其主要特点包括：

1. 采用多通道的神经场表示法，建立像素和场景结构之间的关联，提高了合成效果的准确性。
2. 引入了光照感知处理单元，实现对不同光源和光线照射的场景合成，增强了合成效果的真实感和表现力。
3. 基于深度学习技术，该模型具有较高的计算效率和泛化能力，能够自动学习场景中的结构和特征，快速生成高质量的合成图像。

LANe模型在场景合成领域具有广阔的应用前景，能够为视觉效果设计、虚拟现实、游戏开发等领域提供重要的技术支持。

标题：LANe : Lighting-Aware Neural Fields for Compositional Scene Synthesis

作者：Akshay Krishnan*, Amit Raj*, Xianling Zhang, Alexandra Carlson, Nathan Tseng, Sandhya Sridhar, Nikita Jaipuria, James Hays

项目：https://lane-composition.github.io/

​Read More