金磊 发自 凹非寺

量子位 | 公众号 QbitAI

被誉为“工业软件之芯”的求解器，长年由国外垄断，国产自研进度如何了？

最近，工信部产业发展促进中心等单位专门举办了一场比赛（首届能源电子产业创新大赛），让国产求解器在电网调度的复杂场景下PK了一番。

为什么求解器这么受重视？

其实，无论是地铁和飞机的排班，还是快递包裹运送路线的设计，背后都是求解器在计算这些复杂的数学题。

它就像一个“最强大脑”，总能在超大规模任务中快速找出最优解。

在工业设计、电网调度等关乎国计民生的重要领域，只要涉及到数字化转型，就更是绕不开求解器提供的智能决策能力。

这次比赛得冠军由阿里巴巴达摩院历时四年自主研发的MindOpt摘得。

在速度指标和精度指标上都表现优秀，在保证电网安全运行的同时，帮助实现机组开停机费用及运行费用最小化。

△由DALL·E 3生成

其实，求解器技术壁垒高、研发难度大，放眼数年前，这个领域近乎是被国外厂商所垄断，而且是长达数十年之久的那种程度。

因此，达摩院从0到1实现求解器的国产自研，并且已然成熟到可以放心“上岗电力调度员”的过程，也可以视为国产求解器发展史的一段缩影。

经历4年的自主研发，这款软件其实才刚刚推出1.0版本。

接下来，我们就来共同翻开这段“四年磨一剑”，迭代26个版本的故事。

三分钟？不行，最多15秒！

时间先拨回到2019年。

当时国内求解器的发展并非是一片荒芜，已经有一些企业在这个领域中摩拳擦掌、崭露头角。

不过也正如我们刚才提到的，国外商业求解器巨头已然在全球市场制霸了二十年之久，最为典型的就是被称为“三巨头”的Gurobi、IBM的CPLEX和FICO的Xpress。

△借助DALL·E 3合成

即使是这三大巨头也是在求解器领域中摸爬滚打了数二十载才将技术和商业经验累积于此。

究其原因，正是因为求解器所涉及的技术壁垒着实太高，涵盖运筹学、计算数学、软件工程等众多科学领域。

因此，即便是国产求解器已有起步之势，但很多企业的选择依旧是那个用习惯了的、成熟且稳定的高性能国外求解器：当时的阿里巴巴和达摩院，亦是如此。

然而就在这一年，随着一位国际知名数学家的到来，一场必然的“国产自研”序幕被彻底拉开了。

他叫印卧涛，是目前唯一获得运筹学领域权威奖项Egon Balas奖（2021年获得）的中国科学家，通常情况下，这个奖项每年全球仅颁发给一人。

△印卧涛

印卧涛是在2019年3月正式加入达摩院，负责带队决策智能实验室。

这个实验室主要研究优化求解器技术、时间序列技术、可解释的 AI 技术；同时，在新能源相关的预测和调度项目，验证技术可落地性。

然而就在他入职不久，团队便在求解器这件事上遇到了一个“内忧”的问题——在中国互联网举世罕见的业务规模和复杂度面前，国外求解器性能走到了瓶颈，不够用了。

在一个需要智能决策场景的任务中，团队基于已有的求解器给出了两套方案：第一个方案耗时半小时，第二个方案耗时3分钟。

但业务方直接开口说到：

15秒！用户最多只能等15秒！

而诸如这样求解器性能跟不上的例子，在团队内部实操过程中出现的是越发得频繁，甚至当时团队对“内忧”评估是，现有的所有求解器都无法解决。

于是，如此情况之下，自研之路，似乎就成了这群“求解器狂热者们”的唯一最优解。

不过有一说一，当时三巨头们垄断全球求解器市场，尚且是历经了几十年的发展，期间所投入的人力和物力更是无法想象。

要完全从0开始自研高性能求解器，难，是真的难。

不仅是固有的技术壁垒摆在那里，而且印卧涛所设定的起点也比较高——他要带领团队自研的是通用优化求解器。

这就意味着它必须能够处理广泛类型的问题，不仅要有较高的通用性，在特定问题上面也需要有精细的调整能力。

如此一来，如何让这个求解器里面要涵盖大量不同的算法，还要很好地将它们配置在一起，后续的软件工程、算法工程，以及多核并发等等，都成了有待解决的突破口。

为此，印卧涛给团队制定了“两条腿走”战略：

• 第一条腿：别人已经实现好的模块，我们必须也要实现地特别好；
• 第二条腿：研发下一代的技术，探索最前沿的算法。

一言蔽之，别人能做的达摩院要做，别人不能做的达摩院也要做。

目标和战略设定了，但在实施的过程中依旧是困难重重，例如团队人才的建设便又成了一个老大难的问题。

毕竟要做求解器所需要的人才是极具交叉性的，不仅要有深厚的数学功底和运筹学知识，还需要有数值计算和软件工程等能力。

更为冰冷的现实是，在2019年的时候，众多高校也几乎没有设立完全对口的专业。

印卧涛面对如此窘境，所做出的选择是从内部吸纳人才、在开发中锻炼。

较为幸运的是，团队中确实有好几位同学有全球顶尖的数学或计算机专业背景；有的同学在加入团队之前，便有过深度使用求解器的相关经验。

更重要的一点是，加入团队的所有同学都对自研通用优化求解器有着极大的兴趣和热情，一通电话就“号召”进来了。

根据现在实验室高级算法专家、通用优化求解器研发主力之一的王孟昌回忆：

起初我们都是摸石头过河，通过网上已有公开的资料自行学习，查缺补漏。

印老师也给我们推荐一本名叫Computational Techniques of the Simplex Method的书作为必读物，里面有很多优秀的理论和实际案例都非常值得学习和借鉴。

而对于那些未曾公开的资料，尤其是较为特殊的算法，团队所采取的策略就是一步一个脚印，不停地在“猜测”与“验证”过程中提炼规律，再把得到规律做数学证明，最终“写”进求解器中。

当然，这个过程并非是一味的闭门造车，对于目前已有且好用的高性能求解器，团队也不断地在使用中学习长处，确保自研优化求解器的完整性。

也正是通过这种不断钻研、不断试错和改良中，达摩院决策智能实验室的通用优化求解器就像盖房子一样，一点一点从地基开始逐步建立了起来。

并且此时也已经将这款求解器取好了名字——MindOpt。

去打榜，却引来了“外患”

正如当红的大模型技术会有诸多权威榜单来评测性能高低一样，在求解器这个圈子里，同样也有对应的榜单。

在经历了一年之久的自研和测试，初步的优化求解器已经成形，印卧涛和团队认为，是时候出去闯一遭了。

在2020年的8月，他们便将阶段性成果，即达摩院自研求解器MindOpt的单纯形法模块，提交到了国际权威第三方测评Mittelmann的线性规划单纯形法榜单。

而这一出场，可谓是真正的一鸣惊人——

打破纪录，斩获第一！

从结果中可以看到，数字“1”代表的是达摩院自研求解器拥有最快的求解速度并作为基准时间；数字“40”表示MindOpt成功求解了全部40个线性规划算例。

并且在速度上已经以0.1的差距超越了老牌巨头厂商Gurobi。

如此成绩之下，整个团队定然非常欣慰且愉悦的，毕竟自家的“内忧”要被解决了。

然而，谁也没曾预料到，就是这么一次打榜，反而却招来了一场“外患”。

我们刚才提到，达摩院在决定自研求解器之前，所采用的是三巨头之一的技术和服务。

而就是这家与达摩院长期合作的技术服务商，在看到榜单成绩之后突然变卦：

原来你们在自研求解器，那今后的新版本我们就不卖你们了。

要知道，达摩院自研求解器当时取得的成绩虽惊艳，但侧重的是线性规划的问题；然而优化求解器在解决现实问题过程中，还存在难度系数更高的非线性规划、混合整数规划等等。

换言之，达摩院自研求解器还没有研发到完全独当一面的程度。

或许很多人会认为这家巨头突然变卦的行为，会给达摩院带来不小的冲击，但事实上，这反倒成了这群“求解器狂热者们”心中的一颗定心丸：

这件事情坚定了我们要自研通用优化求解器的决心！

一方面，像非线性规划这样更具挑战难度的研发，团队其实在2020年初便已经开始着手准备，在“外患”事件突发之后，团队就将这一进程提速了起来。

另一方面，阿里巴巴集团内部在听说达摩院自研求解器打榜成绩之后，大大小小的业务部门也纷纷向达摩院抛出橄榄枝，想要在自己的场景中尝鲜。

这就给了MindOpt更多实操的宝贵机会，一定程度上也加速了趋向目标的进程，而且这一过程在阿里内部还是双赢的那种。

据当年发布的公开消息显示，阿里云在集成了达摩院自研求解器之后，在成本上节省了数亿元之多！

而这，便是MindOpt“四年磨一剑”故事的第一阶段。用印卧涛的话来总结就是：

在这个阶段，我们通过单一的方法，在技术上获得第一，给团队带来极大的鼓舞，内部需求也得到了相应的改善。

第二阶段，则是从2020年8月至2021年年中，可以总结为将单一方法演变为两个方法：除了支持线性规划问题之外，MindOpt也可以应对非线性的二次规划问题。

目前，达摩院求解器已能求解包括线性规划、混合整数线性规划、大规模网络流、凸二次规划、半定规划、一般非线性规划在内的主流优化问题。

至于第三阶段，也就是从2021年中期至今，印卧涛团队不仅在挑战像混合整数规划这样更高难度的技术，更是将深度学习、强化学习，甚至是当红的大语言模型也融入了进来，主打的就是一个全面开发。

而且在第二和第三阶段的这两年时间里，从国际榜单的评测结果来看，达摩院自研求解器也是多次夺得榜首。
不过对于榜单的成绩，印卧涛则是认为：

它更像是应试教育，对题目准备得够充分，成绩就自然会好；要更看重在实际场景中的效果。

事实上，达摩院求解器不仅多次在国内外电力相关比赛中夺冠，也在电网实战中证明了自己。

去年，达摩院与中国南方电网电力调度控制中心合作发布“电力调度智能决策平台”，帮助南网总调实现从15分钟到秒级的调度，准确率达到经验丰富的调度员水平。

最终，历时四年的时间，达摩院自研求解器在经历上百个环节的精心研发、实测、25次更新迭代，最终在今年的10月份，正式发布了其1.0版本。

这也意味着达摩院自研求解器已经是比肩国际一流水平、可以放心“上岗”的通用优化求解器了。

四年磨一剑，但还未至顶峰

现如今，达摩院自研求解器的最新实力也已经得到了国内高级别的权威认可。

而且值得一提的是，此次比赛的二等奖所采用的基础求解器也使用了达摩院自研求解器开放出来的技术，而后基于自身的经验在电力场景中做的“微调”。

那么现在的达摩院自研求解器，就是已经是顶峰了吗？

对于这个问题，印卧涛谦虚地回答道：

可以说是通用优化求解器的第一梯队，但还不能说站到顶峰。

首先，随着国内数字化进程的不断提速，越来越多的大规模场景都需要涉及到智能决策以及背后的优化求解器。

而在这个过程当中，正是应了那句“实践是检验真理的唯一标准”，唯有不断地在尝试、纠错和改良中循环往复，才可真正得到能力上的提升。

其次，在谈及国外老牌求解器巨头的过程中，印卧涛也坦诚地说到：

需要学习他们通过观察产品形态的演变，能够迅速找出其中规律的能力。

以及在投入产出比的计算和风险控制上，也是需要去参考国外的一些成功企业。

除此之外，王孟昌认为还需要像他们学习十年如一日在一件事情上专注且坚持不懈的精神。

至于达摩院自研求解器接下来要突破的技术难关，印卧涛表示：

要降低使用门槛。如何让流程更加自动化，是其中的关键。

现在大模型的迅猛发展，正是一个好机会。

比如，结合中国工业场景的现实需求，达摩院自研求解器相继推出了自研建模语言、调参器、优化平台。今年8月，打造决策推理大模型，上线了一位“AI优化工程师” MindOpt Copilot。

对于达摩院自研求解器现在服务的能源、云计算、供应链、电商、金融等各行业用户来说，他们无需了解复杂的数学或编程知识，直接使用自然语言提问，“AI优化工程师”就会自动将问题转化为数学模型，并计算出最佳答案。

这就属于“别人不能做的达摩院也要做”的那一半故事了。

而更长远的，达摩院MindOpt从一个需求做为起点“四年磨一剑”的故事，也让人不禁想起计算机发展历史。

最早也是因为巴贝奇为了简化计算而提出差分机、分析机，Ada超前认识到对数字的处理能力可以用于任何形式的信息，如此，数字时代的种子才得以在百年之后开花结果。

科技的进步除了需要无数有远见的人的创造性思想，也需要无数个细小的进步。

现在达摩院播下的国产通用求解器的种子，在未来能够开出怎样的令人出乎意料的硕果，是值得期待的了。

Read More