最新图大模型综述：由港科广、港中文、清华联合发布，详述使用大模型处理图任务的进展与挑战

论文名称：A Survey of Graph Meets Large Language Model: Progress and Future Directions

论文链接：https://arxiv.org/abs/2311.12399

Github仓库：https://github.com/yhLeeee/Awesome-LLMs-in-Graph-tasks

近日，香港科技大学（广州）李佳教授与香港中文大学、清华大学联合团队发布了最新的图大模型综述文章，全面地介绍了大模型应用于图任务上的研究进展和未来方向。

当图遇见大模型

图是现实世界的重要组件，现实世界中的许多数据，如引文网络、社交网络和分子数据等，都以图的形式展现。图神经网络（GNNs）已成为处理和分析图数据的最流行选择之一。GNNs的主要目标是通过节点之间的递归消息传递和聚合机制，在节点、边或图级别上获取表达丰富的表示，用于不同类型的下游任务。

近年来，大语言模型（LLMs）如Transformer、BERT和GPT及其变种有着显著的发展。LLMs可以被应用于各种下游任务，并且在各种自然语言处理任务（如情感分析、机器翻译和文本分类）中展现出卓越的性能。虽然它们主要被用于处理文本序列，但越来越多的研究者对增强LLMs的多模态能力感兴趣，探索了其处理不同类型数据的能力，包括图像、视频、图数据等。

在LLMs的帮助下，我们与图的交互方式发生了显著变化，特别对于那些含有丰富文本信息的图。LLMs与GNNs在结合的过程中可以相互受益，并增强图学习。虽然GNNs擅长捕捉结构信息，但它们主要依赖较低质量的嵌入作为节点特征，这限制了它们表达更复杂的节点信息的能力。通过整合LLMs，GNNs可以获得更强大的节点特征，有效地捕捉结构和上下文信息。另一方面，LLMs擅长处理文本，但在捕捉图数据中的结构信息方面往往遇到困难。将GNNs与LLMs结合可以利用LLMs对文本的理解能力，同时利用GNNs捕捉结构关系的能力，从而实现更全面和强大的图学习。

LLMs可以从不同的角度帮助图任务。为了更系统地分类，在这篇综述中，我们提出了一个新的分类法：根据LLMs在图任务中所扮演的角色（即enhancer、predictor和alignment component）对现有工作进行分类。

LLMs作为enhancer

目前主流的图数据集大多都采用浅嵌入当作GNNs的初始输入特征，这会不可避免地降低GNNs的性能。此类方法的目标是通过LLMs来增强初始节点特征的质量。我们依据是否生成额外文本信息来将此类方法分为基于解释的方法和基于嵌入的方法。前者通过提示LLMs生成解释、知识实体、伪标签等额外信息，并最终由一个较小的语言模型进行嵌入；后者则直接利用LLMs生成高质量节点特征。

LLMs作为predictor

该类别的核心思想是利用LLMs以统一的生成范式对各种图任务进行预测。将LLMs应用于图模态存在着独特的挑战，这主要由于图数据往往不容易转换为LLMs可以输入的文本序列，因为不同的图定义结构和特征的方式各不相同。在本节中，我们根据模型是否使用GNNs提取LLMs的结构特征，将模型分类为基于拍平策略和基于GNNs的预测模型。

GNNs和LLMs对齐

总结和挑战

该综述系统性地探讨了大模型处理图任务的策略，希望能给后续的研究人员以启发。此外，图大模型研究也有着一些新的研究方向和挑战，如：

1. 大模型如何处理非文本属性图

2. 如何应对可能出现的数据泄露问题

3. 如何使用大模型帮助提升图任务的可迁移性（transferability）

4. 如何使用大模型帮助提升图任务的可解释性（explainability）

5. 如何使用大模型帮助提升图任务的表达能力（expressive ability）

6. 如何提升大模型解决图任务的效率（efficiency）

7. 大模型作为agent帮助图任务等