做难而正确的AI Infra创新——专访国产大模型推理引擎xLLM社区负责人刘童璇

梦瑶
2025-12-02
11:17:01

来源：量子位

在DeepSeek等国产大模型加速普及的今天，AI基础设施（AI Infra）如同数字时代的“水电煤”。然而，长期以来，这一领域的核心技术被vLLM、TensorRT-LLM等海外框架牢牢占据。随着一支年轻团队打造的xLLM在今年8月底出世，这一局面正悄然改变。

12月6日，成立仅三个月的xLLM社区将在北京举办主题为“共建开源AI Infra生态”的线下Meetup。作为AI Infra技术架构中的“中枢神经”，xLLM如同操作系统般连接底层国产芯片与上层大模型应用，将算力高效转化为模型智能。项目负责人刘童璇首次接受采访，揭秘这一国产引擎背后的创新故事。

初衷：中国技术人的技术“破冰”之旅

回溯项目诞生之初的抉择时刻，刘童璇的目光依然坚定如炬。“当时，我们站在技术路口的‘悬崖边’，面前是两条截然不同的道路。”他回忆道。一条是沿着vLLM、Sglang等开源框架的既定轨道前行；另一条，则是挺进“无人区”，为国产芯片打造一个专属的“动力引擎”。

“打造一款对标国际顶尖水平的推理引擎，最大的挑战在于技术路径的选择，”刘童璇坦言，“是继续在开源框架上做局部优化，还是彻底从头构建？”最终，团队选择了一条“难而正确”的道路。与vllm、sglang等方案主要专注于大模型和多模态模型不同，xLLM不仅同样支持这两大核心领域，还将其能力拓展至生成式推荐、文生图、文生视频等AIGC场景。与此同时，xLLM的一个优势在于对多种国产芯片的全面兼容与深度性能优化——在昇腾等国产硬件上的性能表现，显著优于vllm-ascend等开源适配方案。此外，与vllm、sglang需依赖Dynamo等外部框架来提供大模型服务能力不同，xLLM还进一步开源了大模型服务端的关键组件，如全局请求调度、动态PD分离等，从而实现了从推理引擎到上层推理服务的更完整技术栈闭环。

更令人兴喜的是，最终扛起这一重任的，是一支平均年龄不到30岁的年轻团队。这群“95后”工程师凭着初生牛犊的锐气直面挑战。“一群平均工作年限仅两三年的年轻人，就靠着一股不服输的冲劲，硬是把核心引擎搭建了出来。”言谈之间，刘童璇的自豪之情溢于言表。

破茧：三箭齐发构建生态护城河

经过近一年的潜心研发，成果于8月底在GitHub正式亮相。出乎团队预料，xLLM开源后迅速引发社区热烈反响。“远超预期！我们本打算长期打磨，但大模型热潮让xLLM获得了前所未有的关注。”刘童璇坦言惊喜之余更感责任重大，“它还不够完美，架构设计、易用性都有很大的提升空间。”

当杭州的计算中心率先部署xLLM，在AI基础设施这片关键的战场，xLLM如同一面猎猎作响的旗帜，插在了《国务院关于深入实施“人工智能+”行动的意见》的政策高地上。这份2025年发布的11号文件明确提出“加快研究更加高效的模型训练和推理方法”，而xLLM正是对这一国家战略最生动的技术响应。

最令团队振奋的，是xLLM技术落地所展现出的深度与广度。“我们在一次技术沙龙上得知，已有用户将xLLM部署到远在新疆的电站，运行在国产化一体机中，”刘童璇感慨，“当技术真正走进田间地头，服务国计民生，那种价值感无可替代。”

面向未来一年，xLLM已规划清晰路线图。刘童璇提到三个点，场景纵深：重点突破文生视频、生成式推荐系统等复杂生成式场景；模型联盟：深化与国产大模型厂商合作，建立快速响应机制，紧跟模型演进前沿；芯片协同：与国内芯片企业深度联动，针对国产硬件特性进行极致优化。最终是逐步将xLLM锻造为数据中心级别的“智能操作系统”，以“AI for System”为理念，构建驱动未来的智能化超级大脑。

“从填补生态空白，到支撑新疆电站运行，xLLM正将‘卡脖子’清单转化为技术攻坚的‘加速器’。”刘童璇总结道。这支年轻团队承载的不仅是技术参数层面的突破，更象征着中国年轻工程师从技术追随者向标准制定者的身份蜕变。当xLLM的代码在GitHub上流淌，当新疆电站的控制系统因它而更高效运转，这支团队用键盘敲出的每个字符，都在为”人工智能+”的国家战略注入鲜活注脚。

Read More