4090玩转大场景几何重建，RGB渲染和几何精度达SOTA｜上海AI Lab&西工大新研究

西风
2025-04-13
19:14:21

来源：量子位

CityGS-X团队 投稿

量子位 | 公众号 QbitAI

仅用4090就能实现大规模城市场景重建！

高效几何重建新架构CityGS-X来了，通过一种新型并行化混合分层三维表征架构（PH²-3D）的可扩展系统，突破了传统三维重建在算力消耗和几何精度上的限制。

算力瓶颈无处不在，当前3D高斯泼溅技术虽取得显著进展，却仍面临三大核心挑战：处理速度缓慢、计算成本高昂、几何精度有限。

来自上海AI Lab和西工大的研究团队认为，这些问题的根源在于其非结构化设计本质与并行化机制的缺失。

这就引出一个关键命题：能否构建一个兼具高效性、扩展性和精确性的新一代几何重建框架？

由此，团队提出了CityGS-X，研究的主要贡献在于：

• 提出并行化混合层次三维表征（PH²-3D）的可扩展架构，摒弃了传统大场景分块算法造成的训练冗余，相比现有的SOTA几何重建方法，训练速度提升了一倍。
• 提出多任务批渲染框架下的动态分配锚点的并行机制，在训练阶段以及渲染阶段可以利用多张低端卡平替以及超越目前单张高端显卡，对于5000+图的大场景（Matrixcity），只需4卡4090即可实现。
• 提出在模态批渲染框架下的渐进式RGB-深度-法向联合训练方法，在RGB渲染和几何精度上都达到同类任务中的SOTA。

以下是更多细节。

CityGS-X的构建

CityGS-X提出基于并行化混合层次三维表征（PH²-3D）的可扩展架构，摒弃传统繁琐的合并-分区流程，首创批处理级多任务渲染机制；

开发动态多细节层次体素分配策略，实现显存占用与计算效率的平衡；

设计渐进式RGB-深度-法线联合训练方案，通过多视角约束与深度先验的协同优化，显著提升几何一致性。

PH²-3D的设计

批处理级多任务渲染机制

团队采用批处理级多任务渲染机制，首先将批量渲染图像分割为16×16像素的图块，并基于Grendal-GS的自适应负载均衡策略分配到不同GPU。

在每块渲染任务中，提出视角相关高斯迁移策略：并行搜索所有GPU上各LoD层级的相交体素，预测对应高斯属性（如公式所示），并迁移至任务分配GPU。

随后各区块遵循经典基于瓦片的光栅化并行渲染：

其中N为迁移高斯点数量，π(·)为迁移高斯重排序函数。

同时基于PGSR策略生成当前视角法线图：

批处理级连续性渐进训练

作者提出三阶段渐进式训练策略：

阶段一：批处理级RGB训练

阶段二：增强深度先验训练

基于最新单目深度估计器具有平滑连续的表面预测特性，作者提出改进方案：

阶段三：批处理级几何训练

实验结果

以下是与主流方法的渲染指标对比（本文方法均使用4卡4090）：

深度图可视化结果：

对比试验中，团队在RGB渲染、深度渲染与其它方法对比，实验表明CityGS-X在RGB渲染最优的情况下，深度图也最准确，具有更少的浮点以及地面的空洞。

同时对于法线图渲染，CityGS-X也展现出更准确的细节。

法线图可视化:

与目前的SOTA方法相比，CityGS-X在整体的mesh可视化上都有显著提升。

texture和mesh可视化对比：

时间对比实验结果：

F1分数对比实验结果：

在MatriCity数据集上进行定量对比，CityGS-X在重建精度上有显著提升，同时在训练速度上也有明显提升。

论文链接：https://arxiv.org/pdf/2503.23044
项目主页：https://lifuguan.github.io/CityGS-X/
项目代码：https://github.com/gyy456/CityGS-X

Read More