Lift3D：将2D生成对抗网络提升到3D生成辐射场

​

本研究探索了使用3D生成模型合成3D视觉任务的训练数据。生成模型的关键要求是生成的数据应该是逼真的，以匹配现实场景，并且相应的3D属性应该与给定的抽样标签对齐。然而，我们发现最近的基于NeRF的3D GAN由于设计的生成管道和缺乏明确的3D监督，很难满足上述要求。在本文中，我们提出了Lift3D，一种反转的2D到3D生成框架，以实现数据生成目标。与以前的方法相比，Lift3D具有几个优点：（1）与以前的3D GAN不同，训练后输出分辨率被固定，Lift3D可以推广到任何具有更高分辨率和逼真输出的相机内参。 （2）通过将良好分离的2D GAN提升到3D对象NeRF，Lift3D为生成的对象提供了明确的3D信息，从而提供了下游任务的准确3D注释。通过增强自动驾驶数据集，我们评估了我们框架的有效性。实验结果表明，我们的数据生成框架可以有效地提高3D物体检测器的性能。

总结：

本文介绍了一种名为Lift3D的新方法，它可以通过将2D生成对抗网络提升到3D生成辐射场来合成3D训练数据。它提供了一种新的解决方案来解决缺少3D训练数据的问题。使用Lift3D，用户可以从2D图像中创建出高质量的3D模型，并且可以自由地使用这些合成数据进行各种任务的训练，如分类、识别、检测、姿态估计等。该方法的优点在于它不需要使用特殊的传感器或者其他的硬件设备，也不需要进行复杂的标注过程，因此更加灵活和易于实现。

标题：Lift3D: Synthesize 3D Training Data by Lifting 2D GAN to 3D Generative Radiance Field

作者：Leheng Li, Qing Lian, Luozhou Wang, Ningning Ma, Ying-Cong Chen

项目：https://len-li.github.io/lift3d-web

​Read More