前沿探讨：图神经网络、组合优化、大模型与AI4Science如何相互促进？

导语

图神经网络（GNN）是人工智能领域一个强大的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制被认为是大模型热潮之后新的未来方向。GNN 领域的发展现状怎样？组合优化能否帮助大模型做推理？大模型能否帮助更好地求解组合优化问题？未来是否有希望在AI4Science等领域构建GNN通用大模型？大模型和组合优化结合结合是否能帮助解决人工智能的本质问题？
在集智俱乐部「图神经网络与组合优化读书会」第一季最后一期圆桌讨论部分，DeepMind 实验室资深科学家戴涵俊和国防科技大学系统工程学院副教授范长俊、上海交通大学计算机系教授严骏驰、耶鲁大学计算机科学系的助理教授应智韬、中国人民大学高瓴人工智能学院副教授黄文炳、加州理工学院博士后胡子牛几位老师，深入探讨了图神经网络、组合优化、基础模型与AI4Science领域的这些前沿问题。
研究领域：图神经网络，组合优化，大语言模型，AI4Science范长俊、严骏驰、应智韬、戴涵俊、黄文炳、胡子牛 | 圆桌嘉宾刘明昊 | 整理

目录

• GNN+组合优化的发展现状

• 组合优化与大语言模型的结合

• GNN领域本身的灵魂拷问

• GNN的杀手锏应用展望

1. GNN+组合优化的发展现状

 嘉宾们首先讨论了一个重要问题，即以GNN为代表的AI算法近年来发展迅猛，为组合优化问题开创了新的求解范式。然而，从真实的问题求解视角看，相比于传统的运筹优化算法，这类AI算法究竟有没有实际用处、有多大用处？
戴涵俊老师首先表达了对于在组合优化中应用学习算法的肯定。他相信在一些场景中，比如实时性很强的规划任务，可能无法等待求解器的长时间计算。此外，学习算法也可以作为采样或搜索算法的辅助，进一步加强这些算法。
严骏驰老师则从GNN和组合优化的本质出发，指出GNN由于对远程信息的精确捕捉和建模能力不强，也许并不是解决组合优化问题最理想的模型。不过，严老师对于AI方法在组合优化中的用处则是肯定的。第一，大部分组合优化问题是NP难的，并不存在通用的启发式规则，AI方法则可以对不同的问题类型和分布给出有效指导，比如在EDA领域，其问题本身来自于一个真实的物理场景，AI就可以有一定的拟合能力。第二，对于类似派单这样需要反复执行的高频任务，AI方法带有一定的历史记忆和上下文管理能力，可能也是更高效的方式。第三，AI方法还可以更好地利用GPU的计算优势。
应智韬老师认为，传统组合优化问题对于输入和目标函数都是需要给出精确定义的，但很多现实任务中它们都能够进行调整，有时甚至无法给出形式化定义，在这些情况下AI方法例如强化学习，将可以更好地解决这些问题。
胡子牛老师对此也表示认同，并指出在药物设计中，AI方法可以帮助我们学习到目标函数，进而很容易找到一些结构设计。
嘉宾们还为从事相关领域工作的同学指出了一些看好的研究方向：
严骏驰老师表示，同学们可以结合自身背景，将很多本领域的新技术应用到更多行业的问题场景中，比如EDA、药物设计、建筑CAD等，这也符合国家数字化转型和面向实体经济的战略。在理论方面，现有的神经网络模型与组合优化问题的特点也并不匹配，如何去针对组合优化问题设计新的基座模型将是一个备受期待的方向。
戴涵俊老师认为，目前大模型的计算开销很大，如何通过神经网络剪枝来对计算量进行优化，也是值得深入研究的。而且，传统求解器对这种问题通常是无能为力的，与其在那些求解器擅长的问题上做竞争，不如去做一些求解器做不到的任务。
应智韬老师表示，在计算机视觉领域也有一些可以转化为组合优化的问题，目前相关研究还比较少，机会很多。
胡子牛老师认为，在目前的大模型时代，神经网络的对抗攻击也是一个值得投入的方向，比如可以尝试用黑盒优化攻击GPT模型的API。

2. 组合优化与大语言模型的结合 

 第二个议题是关于组合优化与大模型的结合。大模型作为当前人工智能研究的最前沿话题，组合优化能否帮助大模型做推理？大模型能否帮助更好地求解组合优化问题？是否可以构建组合优化领域的基础模型？各位嘉宾对此也输出了很多宝贵的观点。
胡子牛老师认为，大模型在推理一些复杂问题（如数学问题）时，往往需要结合多个步骤才能实现比较好的推理效果，这就相当于在一个组合空间中搜索路径，组合优化可能在这类任务中提供帮助。反之，大模型在代码生成方面已经有了一些成功的实践，也可以考虑用这方面能力来帮助改进组合优化的算法。
戴涵俊老师首先提到DeepMind最新的一篇论文《Large Language Models as Optimizers》，其中利用大模型尝试解决了TSP等问题，这无疑是跳出传统组合优化的思路、能够拓宽想象力的一个方向。另外，很多现实问题并没有被专家很好地形式化，其相关知识可能只是用自然语言进行了描述，而大模型目前已经表现出一些初步的自动建模能力，比如GPT可以在输入问题描述后，输出能够调用OR-Tools API的代码。这种将非确定性输入转化为确定性输出的能力，无疑能在很大程度上拓宽组合优化的应用。
严骏驰老师同样认可大模型在辅助建模方面的价值。但是，对于求解组合优化问题本身，严老师认为类似GPT的大模型可能不是解决组合优化的理想架构。此外，对于组合优化大模型的设想，严老师从NP难问题的本质以及它与自然语言的区别出发，指出在冯·诺伊曼架构下很难想象可以出现能对任意组合优化问题进行求解的大模型，这对模型的训练数据量和存储能力要求都是极高的。
应智韬老师表示，当前大模型对于组合优化问题的求解能力并不令人满意，甚至在一些不是NP难的问题如图的最短路上面都难以做好。一个可能的思路是将一些比较简单的算法操作封装成子模块，让大模型学会调用这些模块解决复杂问题的策略。此外，应老师指出GNN大模型会是未来很有前景的方向，组合优化必将在其中扮演重要的角色。
黄文炳老师认为，大模型代表了统计学习的思路，而组合优化代表了符号推理的思路，应该让二者扬长避短，更好地结合起来解决人工智能的本质问题。比如大模型目前就有比较严重的“幻觉”问题，即对同一个问题经常给出相反的答案，就需要结合符号推理机制，让大模型的结果变得可信。

3. GNN领域本身的灵魂拷问 

 相比计算机视觉、自然语言处理等领域的巨大成功，基于GNN的领域目前还没有比较大的突破性进展。因此，一个自然的疑问就是，目前GNN是否还有本质的问题没有解决？它与Transformer等其它模型相比有什么优势和缺点？对于这个问题，嘉宾们也纷纷各抒己见。
应智韬老师表示，用到GNN的任务相比视觉和自然语言主要有两点挑战：一是可迁移性很差，不同任务的输入特征语义、拓扑结构都完全不相关，这使得通过堆参数构建更强模型的方案完全无效；二是GNN的很多应用都是离散问题，比如我们讨论的组合优化问题，这使得它们的学习难度远高于视觉问题。当然，GNN也仍然有很大的进步空间，比如Graph Transformer还能从多个角度进行改进。
戴涵俊老师认为，与其说视觉和自然语言领域的进步是因为模型，但本质上还是这些任务的自然形式决定了它们更容易被某种模型学到。相比而言，图是一种人工形式，在这些任务背后是否存在更自然的形式，比如蛋白质结构是否有比图更接近其自然形式的表达，也许是一个更值得深思的话题。
严骏驰老师也谈到了图数据和图像、文本的区别，图对于扰动是非常敏感的，非常小的扰动就可能完全改变问题的意义，这是图像和文本这种容错性比较高的数据形式所不具备的。因此，在当前的神经网络范式内提升GNN的性能不太可能取得很好的效果。
胡子牛老师表示，对于GNN而言，不仅要考虑输入为图的问题，也可以考虑很多输出是图的任务，如大模型输出的思维图、决策模型的决策图等，甚至是在神经网络内部形成图结构，都可能是GNN展现其优势的地方。
黄文炳老师认为，GNN和Transformer最大的区别就在于二者对交互关系（边）的认知不同。Transformer认为结点间的交互关系是不需要观测的，它通过注意力机制进行学习；而GNN则认为结点间是交互关系是可以观测并明确给出的。因此，哪种模型更有优势实际上是取决于交互关系对于要解决的任务是不是本质的。如果任务本质上就是一个关系拓扑的问题，那么GNN毫无疑问是更好的模型。此外，对于一些问题如蛋白质结构，图中的边是经过人工设计的，代表着某种专家知识，这无疑会帮助GNN更好地进行学习。
黄老师还提出对于GNN来说有三个本质问题：一是表示问题，即如何区分不同的图，为何3D几何图的表示比拓扑图简单；二是优化问题，比如容易出现过平滑等情况；三是泛化问题，即GNN是否能从不同背景的问题中学习到共性知识。

4. GNN的杀手锏应用展望 

 最后，各位嘉宾对GNN更广阔的应用前景进行了展望，如AIGC、AI4Science等。以及，是否有希望在这些领域构建GNN通用大模型？
黄文炳老师首先对GNN在AI4Science领域的应用进行了梳理，如David Baker组在生物计算领域运用Graph Transformer模型解决蛋白质结构预测任务，取得了媲美AlphaFold的结果。另外，GNN在未来也有可能发展出一定程度上通用的基础模型，至少对于同一个物理空间中的问题这是很有希望的，比如新一代的AlphaFold就把小分子、蛋白质和多体的结构预测统一到一个模型中。
严骏驰老师认为，很多科学问题都很适合用图结构表示，例如生物学、EDA、CAD、点云计算等。不过，在构建GNN基础模型方面，保证足够的模型容量是非常重要和有挑战性的一个方面。同时，图基础模型也不一定是依赖于目前主流GNN架构的，可能会有更好的模型出现。
戴涵俊老师表示，虽然图数据本质上是来自不同领域的，但这不代表没有构建图大模型的机会。例如，当前的语言大模型就既可以表示自然语言，也可以表示很多不同种类的程序语言。但是，一股脑地把所有数据加入训练肯定不是合理的做法，而是在预训练过程中需要针对性地训练各种概念，这也需要探索更多适合图数据的训练机制。
应智韬老师非常肯定GNN在科学中的应用，指出GNN在物理仿真、材料学、神经科学等领域也都有比较有趣的应用。在未来，为每个领域构建GNN基础模型，帮助解决各种下游任务也一定会成为趋势。应老师还提到自己目前也在推进GNN基础模型的工作。
胡子牛老师认为，在AIGC中图结构是非常重要的。图像和文本都属于比较底层的数据形式，如果我们想对生成过程进行控制或定制化（如ControlNet），就必须用到类似图结构的高层表征。同时，未来的大模型需要能够统一各种不同模态的数据，图也很有可能在其中起到重要的作用。

扫描下方二维码观看读书会视频回放

学者简介

范长俊，国防科技大学系统工程学院副教授，国防科技大学本科、硕士和博士，美国加州大学洛杉矶分校联合培养博士。研究方向：研究方向是图深度学习、组合优化与强化学习。

严骏驰，上海交通大学计算机系教授。国家优青、IET Fellow、科技部新一代人工智能重大项目、基金委人工智能重大研究计划项目负责人，教育部深度学习资源建设首席专家。研究方向：机器学习及交叉应用。

戴涵俊，Google DeepMind实验室资深科学家和研究经理，此前于佐治亚理工获得博士学位。研究方向：高效的生成模型，包括大语言模型，图像和结构化数据模型，及其采样和优化的底层算法

应智韬，耶鲁大学计算机科学系的助理教授。博士毕业于斯坦福大学计算机科学博士学位。研究方向：包括图神经网络算法、几何嵌入、可解释模型，以及最近涉及关系推理的多模态基础模型。

黄文炳，中国人民大学高瓴人工智能学院准聘副教授、博导。曾在清华大学智能产业研究院担任助理研究员，腾讯AI Lab担任高级研究员。研究方向：几何机器学习驱动的复杂结构与系统的表示、生成及决策。
加州理工学院博士后，2024年将加入伦斯勒理工学院担任助理教授。博士毕业于加州大学洛杉矶分校计算机科学专业。研究方向：大型语言模型（LLM），包括智能体（使用工具和内存）、规划和推理（尤其是数学、代码、游戏和视觉世界）和自我改进，长期研究目标是构建神经符号人工智能。

图神经网络与组合优化读书会

现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术不断发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的人工智能算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。
为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院副教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面，希望为参与者提供一个学术交流平台，激发参与者的学术兴趣，进一步推动相关领域的研究和应用发展。欢迎感兴趣的朋友报名参与！
详情请见：加速经典算法效率，突破现实技术瓶颈：图神经网络与组合优化读书会启动

推荐阅读

1. 多模态图学习蓝图：应用于视觉、语言、自然科学2. 人工智能前沿：组合优化问题的机器学习求解 3. 几何深度学习：让物理世界拥有AI4. 图与基础模型：多模态基础模型关系推理能力概述5. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程6. 成为集智VIP，解锁全站课程／读书会7. 加入集智，一起复杂！

点击“阅读原文”，报名读书会