论文 | 清华最新114篇论文综述：大型图模型LGMs的挑战、机遇和潜在应用

大型模型已成为人工智能（尤其是机器学习）领域最新的突破性成就。然而，在图方面，大型模型尚未取得与自然语言处理和计算机视觉等其他领域相同的成功水平。为了促进大型图模型的应用，我们提出了一篇透视论文来讨论与开发大型图模型相关的挑战和机遇。首先，我们讨论大型图模型的所需特征。然后，我们从三个关键角度进行详细讨论：表示基础、图数据和图模型。在每个类别中，我们都简要概述了最新进展，并强调了剩余的挑战以及我们的愿景。最后，我们讨论大型图模型的有价值的应用。我们相信这篇观点论文能够鼓励对大型图模型的进一步研究，最终推动我们向通用人工智能（AGI）更近一步。

https://arxiv.org/abs/2308.14522

https:// github.com/THUMNLab/awesome-large-graph-model

背景

近年来，人们对大型模型的研究和实际应用越来越感兴趣。大型模型在自然语言处理 (NLP) 和计算机视觉 (CV) 等领域尤其具有革命性，在大型规模未标记数据上预训练超大模型已经取得了重大突破。然而，通常用于表示社交网络、分子图和交通网络等各个领域中实体之间关系的图，在大型模型上尚未取得与其他领域相同的成功水平。在本文中，我们提出了有关开发大型图模型所面临的挑战和机遇的观点。首先，我们介绍大型图模型，并概述四个关键的期望特征，包括具有缩放定律的图模型、图基础模型、上下文图理解和处理能力以及通用图推理能力。然后，我们从三个方面提供详细的观点：

（1）对于图表示基础，我们讨论图域和可转移性，以及图与自然语言的对齐。我们的关键要点是确定跨越不同图域的合适且统一的表示基础的重要性，这是构建有效的大型图模型的基本步骤；

（2）对于图数据，我们对现有图数据集与其他领域进行了总结和比较，并强调更大规模的高质量图数据的可用性是资源密集型但不可或缺的；

（3）对于模型，我们系统地讨论了主干架构，包括图神经网络和图 Transformer，以及预训练和后处理技术，例如提示、参数高效微调和模型压缩。

我们还将 LLMs 作为图模型进行讨论，这是一个新的趋势方向。最后，我们讨论大型图模型对各种图应用程序的重大影响，包括推荐系统、知识图谱、分子、金融、代码和程序以及城市计算和交通。我们希望我们的论文能够激发对大型图模型的进一步研究。

大型图模型的期望特征

与大型语言模型（LLMs）类似，大型图模型可以被描述为具有大量参数的图模型，这些参数赋予其比小型模型更强大的能力，从而促进对数据的理解、分析和处理。与图相关的任务。除了众多的参数之外，我们从以下几个角度总结了理想大型图模型的关键期望特征：

（1）具有缩放定律的图模型：缩放定律表明随着模型大小、数据集大小和训练计算量的增加，LLMs 的性能不断提高。这种现象为提高性能和使模型能够捕获图数据中的复杂模式和关系提供了明确的方向。通过模仿 LLMs 的成功，大型图模型有望展现出较小模型所缺乏的新兴能力。然而，在大型图模型中实现这一目标非常重要，其困难包括从收集更多图数据到解决技术问题（例如解决图神经网络的过度平滑问题）以及工程和系统挑战。

（2）图基础模型：当大型图模型可以作为图基础模型时，即能够处理跨不同领域的不同图任务时，它具有更大的价值。这就要求模型能够理解图的内在结构信息和属性，具备图的“常识”。图预训练范式是开发图基础模型的一条非常有前途的途径，因为它可以将模型暴露于大规模未标记的图数据，并减少对昂贵且费力的图标签收集的依赖。此外，生成式预训练范例可以使模型具有生成图形的能力，从而为药物合成、代码建模和网络进化分析等有价值的应用提供可能性。值得澄清的是，由于图作为具有极端多样性的通用数据表示，因此为所有图领域开发“通用图模型”即使不是不可能，也是极具挑战性的。因此，对于不同的“领域集群”可能需要多个图基础模型，这与计算机视觉中的 LLMs 或基础模型有些不同。

（3）上下文图理解和处理能力：一个有效的大图模型预计能够理解图上下文，包括节点、边、子图和整个图，并在测试过程中使用最少的样本处理新颖的图数据集和任务，并且无需对范式进行密集的模型修改或更改。这一特性也与少样本/零样本图学习、多任务图学习和图分布外泛化能力密切相关，并且可以促进这些能力。此外，当训练和测试阶段的输入图数据和任务不同时，这些能力至关重要。上下文学习能力可以使大型图模型能够利用在预训练阶段学到的知识，并快速适应测试阶段并获得所需的性能。

（4）多功能的图形推理能力：尽管图跨越不同的领域，但存在常见和基本的图任务，我们通常将这些任务的处理称为“图推理”。虽然对于这些任务是什么还没有明确的共识，但我们提供了一些代表性示例如下。首先，大型图模型应该理解基本的拓扑图属性，例如图大小、节点度、节点连通性等。这些属性构成了更深入理解图结构的基础。其次，大型图模型应该能够灵活、明确地对多跳邻域进行推理，使其能够执行更复杂的基于图的任务。这种能力原则上类似于 LLMs 的思想链，也可以增强图决策过程的透明度并提高模型的可解释性。最后，除了局部信息之外，大型图模型还应该具备理解和处理涉及全局属性和高级模式的图任务的能力，例如节点的中心性和位置、图的整体属性、动态演化规律等。

图表示基础

（1）图域和可迁移性

大型模型 LLMs 作为基础模型，因为它们在经过预训练后可以适应各种下游任务。 相比之下，图是跨越多个领域的通用数据结构。因此，原始输入数据（即节点和边）可能并不总是处理所有图数据的最合适的表示基础。例如，社交网络、分子图和知识图谱中的节点和边因其独特的特征和拓扑空间而具有不同的含义。因此，基于输入图数据直接共享信息和转移知识通常会带来重大挑战。

人们普遍认为存在更高级或抽象的通用图模式，它们可以在某个域内的不同图和任务之间共享。例如，经典网络科学中已经识别出许多人类可解释的模式，例如同质性、小世界现象、节点度的幂律分布等。然而，即使有了这些高级共享知识，创建有效的大型模型 能够在不同的图域中表现良好仍然是不平凡的。这些挑战给开发图模型（例如主干架构）带来了很大的困难。

（2）对齐自然语言

最近大型模型的另一个关键能力是它们与人类互动并遵循指令的能力，因为我们天生就有能力理解语言和视觉感知。相比之下，人类处理图的能力较差，尤其是更复杂的推理问题。因此，许多图任务通常不存在“人类水平的表现”。因此，沟通和指导大型模型按照我们想要的方式执行图任务，尤其是使用自然语言，特别具有挑战性。我们总结了三类值得探索的策略来克服这一障碍。

第一种策略是通过大量配对数据来对齐图和文本的表示基础，原理上类似于计算机视觉。如果成功，我们将能够使用自然语言与图模型进行交互。例如，我们可以要求模型生成具有所需属性的分子图，或者要求模型执行具有挑战性的图推理任务。我们对文本属性图进行了一些初步尝试，这是一个很好的起点。然而，为一般图收集此类数据比图像文本对的成本更高且更具挑战性。

第二种策略是将图转换为自然语言，然后仅在语言基础上工作。使用这种策略的一些初步尝试已经被开发出来，其中图结构被转换为文本表示，例如邻接列表或边列表，并作为提示插入到 LLMs 中。然后，使用自然语言来执行图分析任务。然而，直接将图数据和任务转换为语言可能会丢失图的内部结构和归纳偏差，导致任务性能不理想。需要更精细的设计，例如将图结构和任务转换为文本的有效提示，以进一步推进这一策略。

最后一种是寻找其他表示基础作为不同图任务和自然语言的中间基础。最直接的方法是使用神经网络的一些隐藏空间。然而，它面临着深度神经网络目前很大程度上无法解释的挑战，更不用说找到所需的共享隐藏空间可能是令人沮丧的挑战。另一方面，虽然人类没有能力直接处理图数据，但我们可以设计适当的算法来解决图任务，包括图论中许多著名的算法，例如寻找最短路径、动态规划等。因此，如果我们可以将图模型的行为与这些算法结合起来，我们就可以在一定程度上理解和控制这些模型的行为。在这个方向上已经做出了一些努力，称为算法推理，我们认为它蕴藏着丰富的潜力。

总之，找到合适的表示基础，可能与自然语言保持一致，并统一不同领域的各种图任务是构建成功的大型图模型的基本步骤。

图数据

大型模型的成功很大程度上取决于高质量、大规模数据集的可用性。相比之下，大规模的图数据就不那么容易访问了。图数据通常有两种情况：大量的小规模图，如分子，或单个/几个大型图，如社交网络或引文图。总之，高质量图数据的可用性对于大型图模型的开发至关重要，这需要更多的资源和精力。由于收集此类图数据既困难又昂贵，因此社区范围内的协作对于加快这一过程可能至关重要。

图模型

（1）骨干架构: 两种有前途的图深度学习架构：图神经网络（GNNs）和图Transformers。

（2）图预训练: 也称为无监督或自监督图学习，旨在捕捉训练图数据中固有的结构模式。图预训练方法利用图中丰富的结构和语义信息来引入借口学习任务。通过这些任务，预训练的模型学习有用的节点、边或图级别的表示，而不依赖于显式注释标签。随着图的大小和复杂性的增加，预训练技术对大型图模型的重要性变得越来越明显。我们使用以下“四个E”原则总结了图形预训练的预期好处：编码结构信息、缓解数据稀疏性和标签稀缺性、扩展适用领域、增强鲁棒性和泛化能力。

（3）后处理：在通过预训练获得大量知识后，LLMs 仍然需要进行后处理，以增强其对下游任务的适应性。具有代表性的后处理技术包括提示、参数有效微调、利用人类反馈的强化学习和模型压缩。对于图，最近的一些工作也致力于研究预训练模型的后处理技术。Graph prompts 模仿自然语言提示，以有限的标签增强下游任务性能，并使与模型的交互能够提取有价值的知识，这一点已经得到了广泛的研究。Graph prompts 面临的一个重大挑战是将从 node-level 节点级和 link-level 链接级到 graph-level  图级的各种图形任务统一起来。相反，自然语言中的任务可以很容易地统一为特定约束下的语言建模。总之， LLMs 中所示的后处理技术的成功引发了人们对图形领域类似研究的兴趣。然而，由于目前大型图模型不可用，这些方法的评估仅限于相对较小的模型。因此，在应用于大型图模型时，进一步验证其有效性至关重要，可能会出现更多的研究挑战和机遇。

（4）作为图模型的 LLMs：最近的研究还探索了直接利用 LLMs 解决图任务的潜力。其基本思想是将图数据（包括图结构和特征以及图任务）转换为自然语言表示，从而将图问题视为正则NLP问题。尽管仍处于早期阶段，但 LLMs 也代表了开发大型图模型的一条很有前途的途径，值得进一步探索和研究。

应用

（1）推荐系统：图数据自然存在于推荐系统中。例如，用户和项目之间的交互可以建模为二分图或更复杂的异构图，包括点击、购买、评论等。目前，推荐系统的 LLMs 专注于对产品的文本描述等语义信息进行建模，而明确利用图的结构信息有可能产生更好的结果。一个潜在的挑战是，推荐系统中的图通常是多模态的，包括文本、图像、交互等。由于多模态数据的大型模型尚未成熟，因此需要做出重大努力来开发真正有效的推荐系统大型图模型。

（2）知识图谱：知识图谱被广泛用于存储和利用人类社会中无处不在的知识。LLMs 已被用于各种知识图谱任务，包括构建、完成和问答。尽管取得了一些成就，但大多数方法主要关注文本信息，而知识图谱的结构和关系信息却没有得到充分的探索。大型图模型可能与现有的 LLMs 相结合，可以极大地补充现状，进一步促进知识图谱的研究和应用。

（3）分子：图是分子的自然表示，其中节点表示原子，边表示键。建立有效的分子图模型可以推进各种应用，包括分子性质预测和分子动力学模拟，最终有利于药物发现。目前，LLMs 的一些变体通过首先使用简化的分子输入行输入系统（SMILES）将分子转换为字符串来应用于分子，该系统允许将分子表示为规则文本并生成。然而，图作为一种更自然的方式来表示分子的结构信息，具有许多建模优势。同时，也为分子开发了大量基于图的预训练技术，包括多模态策略。此外，分子数据相对更容易收集，例如，ZINC20含有数百万种可购买的化合物。因此，我们相信，用于分子建模的基于图或图增强的大型模型很快就会出现。

（4）金融：事实证明，图机器学习对股票走势预测和贷款风险预测等多项金融任务都是有益的。此外，大量丰富的财务数据使构建特定领域的大型模型成为可能，例如BloombergGPT。通过结合两者的优势，大型图模型在金融领域的应用前景广阔。一个潜在的挑战在于大多数金融数据的敏感和私人性质，使行业不愿向公众发布相关模型和数据。需要努力促进开放源码倡议和民主化，以充分释放大型图表模型在金融领域的潜力。

（5）代码和程序：由于GitHub等存储库托管平台上提供了大量的代码数据， LLMs 在理解和生成代码和程序方面表现出了非凡的能力。值得注意的例子包括CodeX、AlphaCode和GPT-4，它们对编程环境产生了重大影响，甚至可能重塑编程环境。除了将代码和程序视为文本数据外，图还提供了一种自然的方式来表示代码的结构方面。例如，抽象语法树，包括控制流图、数据流图等，可以有效地捕捉源代码的语法结构。研究表明，图的集成可以通过提供互补信息来进一步提高 LLMs 的性能。因此，大型图模型在广泛的代码和程序相关任务中具有宝贵的潜力，包括代码完成和生成、代码搜索、代码审查、程序分析和测试等。

（6）城市计算与交通：图数据普遍存在于城市计算和交通领域，如道路网络。因此，图机器学习可以使许多应用受益，包括交通预测、各种城市规划和管理任务、犯罪预测和疫情控制。此外，大规模的城市数据自然存在，例如从GPS和各种传感器收集的移动数据。目前，一些基于 LLMs 的大型模型已被探索用于城市计算和交通，如TransGPT。尽管如此，他们的重点主要围绕着与自然语言相关的应用程序，开发大型图模型以获得更广泛、更全面的利用仍然是一个开放的机会。该过程中的一个主要技术挑战在于，城市和交通环境中的图数据本质上是动态的，包含复杂的时空模式。因此，大型图模型需要有效地捕获结构信息和时间信息，以实现令人满意的性能。

（7）其他领域：考虑到图机器学习已被广泛应用于从故障诊断、物联网、电力系统和时间序列分析等工业应用，到物理学、组合优化、材料科学和神经科学等科学领域的人工智能，探索大型图模型的使用具有极其丰富的潜力。

微信群                   公众号