记忆张量 × 商汤大装置：国产 GPGPU 推理成本反超 A100！

十三
2025-12-04
11:07:42

来源：量子位

近日，记忆张量联合商汤大装置宣布，在国产GPGPU上率先跑通业内首个以“记忆—计算—调度”一体化为核心的PD分离商用推理集群。相比传统仅依赖硬件隔离的方案，本次落地将PD分离与记忆张量旗下核心产品MemOS（以下简称 MemOS）的激活记忆体系深度耦合，使Prefill批量化可调度、Decode前台低抖动成为可能。

集群在真实C端负载下实现单卡并发效率提升20%、吞吐提升75%，综合推理性价比达到同代NVIDIAA100的150%。这一成果标志着国产算力体系在大模型商业化路径上首次具备“体系级”竞争力，为高性能模型的大规模落地打开了全新的降本增效空间。

MemOS与PD分离深度耦合，打破性能上线

过去一年中，“PD分离”几乎成了大模型推理优化里最热的技术关键词之一，但一个被反复忽略的现实是：如果只在算力层面做PD分离，而不去重构上层业务路径，那么它能带来的收益其实是有天然上限的。

随着DeepSeek-R1等高性能模型从B端试水走向C端大规模落地，“记忆”已经成为C端产品体验与成本结构的核心变量。只有当PD分离与记忆结构深度耦合，重构“记忆—计算—调度”整体体系，它才有机会真正超越传统意义上的性能上限。

MemOS作为业内唯一一个以记忆为中心，覆盖从底层推理、到记忆模型，再到应用工程进行系统设计的记忆基础设施，它将大模型的认知结构划分为三类记忆：参数记忆、激活记忆、明文记忆。这三类记忆形成了一条跨时间尺度的调度链路，可以进行精细地决策：哪些计算应该前移到Prefill，哪些必须留在Decode，以及任务的保留、降级或淘汰等。

显然，MemOS更适合和PD分离进行结合——它拥有一整套可以“决定如何用这条通道”的调度逻辑，从而把PD分离原本有限的收益空间尽可能压榨到极致。

正因此，本次记忆张量与商汤大装置在某国产GPGPU上的解决方案，真正跑出一版带完整业务语境的R1满血推理集群——不仅在单机和小规模集群实验中有效，而且在严格SLA约束下，可以在12台4P8D架构的商用集群上稳定运行，将PD分离变成“可以被商业化复现的工程范式”。

结构共振，让 PD 分离从优化技巧走向推理范式

在本次联合方案中，商汤大装置提供了让 MemOS 三层记忆结构拥有物理载体的顶层系统级基础设施。依托大装置IaaS的高效算力池、智能算力调度等为模型推理提供稳定的基础设施支撑；并借助Ignite框架提供多后端推理适配、KVCache管理优化、关键算子加速、跨节点通信调优等性能增强，形成体系化的推理优化链路；同时，商汤万象MaaS平台的统一调度策略确保Prefill与Decode服务在高并发场景下始终稳定运行。

集群的底层算力方面， 则由算丰信息提供核心支撑，算丰信息在此次集群中承接管理了所有高性 GPGPU 计算资源、大规模文件对象存储以及高速互联网络服务，为 PD 分离架构的高效稳定运行提供了不可或缺的鼎力支持。

在商汤大装置的某国产GPGPU集群上，MemOS的记忆结构被映射成了非常清晰的物理分工：

• P域（Prefill Domain）变成真正的“记忆工厂”，集中承载影子上下文的预测与KV Cache的批量预生成，这些任务通常对吞吐敏感、对时延容忍度高，因此可以在P域以高并行、高利用率的方式运行，而不再与前台交互抢占资源；
• D域（Decode Domain）则被打造为纯粹的“实时交互前台”，专注处理真实用户请求的解码过程，在保持超低TTFT的前提下，承担起R1这一类大模型在C端场景的连续输出与稳定响应；
• 跨节点KV Cache则通过高带宽互联与零拷路径实现“即产即用”，MemOS的激活记忆机制与商汤大装置在某国产GPGPU上打磨出的通信能力形成天然互补，使Prefill产生的KV Cache不再成为传输瓶颈，而是以极低开销进入D域的解码流程中。

这次合作是一次体系级的结构共振：PD分离为MemOS打开了一条真正意义上的高速算力通道，而MemOS则为PD分离提供了精细到记忆单元级别的调度逻辑和业务上下文，基于此，PD分离第一次从一个工程团队内部的“性能小技巧”，变成一套可以被完整描述、完整度量、并在生产环境中长期运行的新推理范式。

综合推理性价比达到同代NVIDIA A100的150%左右

在严格的生产级评测口径下——包括2k输入、1k输出、TTFT＜2s 的SLA约束、72小时以上稳态运行、统一的限流与负载生成策略——记忆张量与商汤大装置联合打造的国产GPGPU集群交出了这样一张答卷：

• 集群整体吞吐量提升超过75%，从Naive部署下的107.85 tokens/s提升到189.23 tokens/s，不是因为“卡更强了”，而是Prefill与Decode真正做到了算/存解耦，流水线气泡被有效压缩，影子上下文的批量预计算也不再造成资源浪费；
• 单卡并发能力提升约20%，从25.00并发/卡提升至29.42并发/卡，这在C端场景下尤为关键，意味着在同等硬件规模下，集群能稳态承载更高的实时会话数，高峰期排队与溢出的风险明显降低；
• TTFT全程稳定小于2秒，得益于Prefill全量前移和D域职责的“单一化”，Decode不再被一些突发的重Prefill任务抢占资源，首字延迟因此从系统层面得到了保障；
• KV Cache在热门场景中的命中率显著提升，可达70%+，这使得诸如MemOS-Chat这一类需要高频、多轮交互的C端应用，在热点话题和常见任务上具备了极高的预计算复用率，推理成本被进一步摊薄；
• 在统一财务与技术口径下，综合推理性价比达到同代NVIDIA A100的150%左右，在严格SLA与相同负载结构下，某国产GPGPU在这一套“记忆原生×PD分离×业务调度”的框架中，第一次实现了对A100的体系级正面超越。

这些数字代表着：“国产GPU不再只是一个“可以跑大模型”的选项，而是真正具备了承载R1级C端业务的体系能力。”

行业意义：下一代推理范式被点亮

从行业视角来看，这次联合实践更重要的价值在于清晰地描绘出了一条未来大模型推理架构的可行路线。

首先，PD分离从“硬件层的算存优化”，升级为“围绕记忆的推理范式设计”：在MemOS这样以记忆为核心组织推理流程的系统里，PD分离可以延伸到行为预测、上下文规划、激活记忆布局等更高维度，从而变成整体架构的一部分，而不再是孤立的工程优化。

其次，C端场景走向Memory推理：现在我们更关注的是：系统在多长时间尺度内能保持一致的人设、风格和偏好；它是否能记住用户的历史行为，并以此给出更智慧、更个性化的反应。在这个意义上，记忆不再是推理链路的外挂，而正在成为推理本身的中心。

未来，国产GPU不必也不应该只是在“算力参数”上做对标，而是有机会在体系结构上形成差异化领先：通过MemOS×商汤大装置的联合探索，我们可以看到：当底层架构与上层系统“共同为记忆和Agent这种新形态服务”时，国产生态完全可以定义自己的技术话语体系，而不是永远追随“通用加速器+通用框架”的旧范式。

打造记忆原生时代的国产AI基础设施新范式

未来，记忆张量与商汤将在这一范式之上继续深化合作：

• 一方面，围绕更大规模的国产GPGPU集群，构建真正意义上的记忆驱动流水线推理底座，让“影子上下文—激活记忆—PD分离—多级缓存—AIOps”成为一套可观测、可回滚、可演进的基础设施能力；
• 另一方面，在Prefill行为预测自治化、多级激活记忆管理、跨任务长时记忆一致性、面向Agent的轨迹记忆等方向上持续打磨，让这套范式更能承载未来的伴随式AI、具身智能体以及更复杂的长周期任务编排。

从更长远的视角看，这次联合实践带来的最大改变是：国产算力体系第一次拥有了另一条面向未来智能形态的可能“结构性路线”：从参数计算走向记忆计算，从静态推理走向动态流水线，从模型中心走向记忆中心。

可以预见，未来国产GPGPU不再只是“跟上来”的参与者，而完全有机会成为下一代推理范式的定义者之一。

Read More