图神经网络概述

导语

本文简要介绍图神经网络的概念与分类，最后介绍一个图神经网络的在AI for science中典型应用。
研究领域：图神经网络，卷积神经网络LK | 作者西湖大学智能无人系统课题组 | 来源

概述

近期AI领域最热门的方向，AI for science中，有许多研究工作，都用到了图神经网络。本文简要介绍图神经网络的概念与分类，最后介绍一个图神经网络的在AI for science中典型应用。

深度神经网络在计算机视觉和自然语言处理领域取得了巨大的成功。常用的深度神经网络，如卷积神经网络，在处理欧式结构的数据方面表现出色。然而，对于图结构的数据，如社交网络中的人际关系、化学中的分子相互作用、三维点云数据以及数据中各个单元之间的结构，情况就变得复杂了。这些数据不再按照欧式空间中的有序排列，而是呈现出无序的分布。在这种情况下，传统的神经网络算子不再适用。

近年来，研究人员借鉴了卷积神经网络、循环神经网络和深度自编码器的思路，设计了专门用于处理图结构数据的神经网络，称之为图神经网络（Graph Neural Network，简称GNN）。这一创新使得神经网络这一强大工具能够有效地应用于处理各种图结构的数据。

图1 欧式数据结构与图数据结构[2].左图中的图像，各个像素呈规则的欧式排布，右图中的蓝色节点，相互之间呈随机关联，用图描述。两种不同结构的数据，需要使用不同类型的神经网络处理。

图数据是由节点（nodes）和边（edges）组成的数据结构，通常用于表示各种关系和网络，如社交网络、知识图谱、分子结构、交通网络等。GNNs的目标是从这些图数据中学习有关节点和边的信息，以便进行各种任务，例如节点分类、图分类、链接预测等。

图神经网络分类

图神经网络可以大致分为一下几类：

1.Recurrent graph neural networks (RecGNNs) 递归图神经网络

RecGNNs旨在使用递归神经结构学习节点表示。它们假设图中的一个节点不断与其邻居进行信息/消息交换，直到达到稳定的平衡状态。RecGNNs在概念上非常重要，对后续对卷积图神经网络的研究有一定的启发作用。后来的卷积图神经网络继承了其中的消息传递的理念。

2.Convolutional graph neural networks (ConvGNNs) 图卷积神经网络

图卷积神经网络将卷积的概念从欧式结构的数据扩展到图结构的数据。图卷积的基本思路是聚合一个节点周围节点的特征，用以生成该节点自身的特征。图卷积网络堆叠了多个“图卷积层”，用来提取各个节点的高层次信息。图卷积神经网络具体分为谱方法（Spectral methods）和空间方法（Spatial methods）。谱方法的卷积操作依赖于图的拉普拉斯矩阵的特征值和特征向量。空间方法的卷积则直接在图的邻域上进行。

3.Graph autoencoders (GAEs) 图自编码器

图自编码器是一种无监督的学习方式。它将图编码成一个隐式向量，通过编码信息来重建图中的数据。图自编码器用于学习网络中的嵌入，以及生成图的生成式分布。图自编码器被广泛应用于社交网络分析、生物信息学和推荐系统中。通过学习有效的图表示，图自编码器有助于对复杂关系数据的理解和应用。

4.Spatial-temporal graph neural networks (STGNNs) 时空图神经网络

时空图神经网络用于从时空图中，学习隐藏的模式。时空数据通常是指具有时间和空间维度的数据，例如移动物体的轨迹、气象数据、交通流量等。这些数据通常以图的形式表示，其中节点代表地点或实体，边代表时空关系。时空图可以是有向的或无向的，具体取决于应用场景。ST-GNN的关键任务是建模时空数据中的动态关系。它可以通过不同的方式来处理时空数据，例如通过对每个时刻的快照建立图，或者通过在图上引入时间信息来捕捉动态性。这使得ST-GNN能够在时间上进行推理和预测。ST-GNN学习每个节点的表示，使得这些表示包含了节点的属性信息以及与其他节点的时空关系。这有助于对节点进行时空上的预测或分类。ST-GNN在许多应用领域都有广泛的应用，包括交通管理（交通流量预测、路径规划）、气象预测、地理信息系统（GIS）、社交网络分析等。在这些领域中，ST-GNN可以帮助理解时空数据中的模式、趋势和异常。

关键概念与工作原理

图神经网络中一些关键概念和工作原理如下：

节点表示（Node Embeddings）：GNN的主要任务之一是学习每个节点的表示（或称嵌入）。这些表示通常是一个固定维度的向量，用于捕捉节点的特征。GNN通过聚合节点的邻居节点信息来更新节点表示。这个过程在每个图卷积层中迭代进行。

图卷积（Graph Convolution）：图卷积是GNN中的核心操作。在每一层，它会考虑节点的邻居信息，并使用权重来聚合这些信息以更新节点的表示。这使得节点能够捕捉到周围节点的信息，从而改善对节点的分类或预测任务。

聚合函数（Aggregation Function）：在图卷积中，节点邻居的信息被聚合成一个新的节点表示。常见的聚合函数包括求和、平均值、最大值等。不同的聚合函数可以用于不同的任务和图结构。

图池化（Graph Pooling）：类似于卷积神经网络中的池化操作，图池化用于减小图的规模和复杂性。它可以通过合并节点或边来减小图的大小，以便在后续层中处理更抽象的信息。

任务层（Task Layer）：GNN通常最后会连接一个任务层，用于执行具体的任务，如节点分类、图分类、链接预测等。任务层的结构取决于所解决的任务类型。

反向传播（Backpropagation）：与其他深度学习模型一样，GNN使用反向传播算法来更新模型参数，以最小化损失函数。这使得模型能够从训练数据中学习，并提高其性能。

应用：建模粒子相互作用

图神经网络的一个重要应用是对物理世界进行建模。将物理世界中，个体与个体之间的关系表示为图，可以通过图神经网络，对现实世界中复杂系统的行为，进行推断。

下面，我们以2022年发表在 PNAS上的一篇论文 Learning physics-consistent particle interactions [4]为例， 来说明图神经网络，是如何建模物理世界的。

该文用图神经网络框架，模拟物理世界中，粒子之间的相互作用。现实世界中粒子的相互作用具有高度复杂性，难以通过人为设计精确建模，借助图神经网络，利用数据驱动的思路，可以对复杂的物理世界进行准确建模。

该文提出的图神经网络框架，可以准确推断出粒子之间的作用力与势能，且粒子间的相互作用，满足牛顿第二定律的约束。现有的相关工作，虽然也利用了图神经网络的框架，但大多没有考虑牛顿运动定律的约束，导致网路推断的结果，不符合物理规律。

为了解决上述问题，该文将图分为边部分（Edge part）与节点部分（Node part）。其中，边部分通过图神经网络，学习粒子两两之间的作用力与势能；节点部分，则通过物理算子，输入作用力与粒子状态，输出粒子之间的加速度。节点部分的物理算子，满足牛顿第二定律，因而输出的粒子加速度，符合物理规律。每个粒子的状态由四维向量组成，每个元素分别表示粒子在某个时刻的位置、速度、电荷、质量。其中，位置与速度是时变的，电荷与质量是恒定的。将一对粒子的状态组合成一个向量，输入到边网络中，输出粒子之间的作用力与势能（图中B部分）。边网络输出的力与势能，再输入到节点部分（图中C部分），计算出每个粒子的加速度。其中，边网络输出的势能与力，就是每个节点特征的表示。

图 神经网络建模粒子运动[4]

该文的工作，成功将图神经网络，应用到物理世界的建模推断中，即利用了数据驱动的方法，又满足了物理规律的约束，值得借鉴学习。

参考文献[1]Wu, Z., Pan, S., Chen, F., Long, G., Zhang, C., & Philip, S. Y. (2020). A comprehensive survey on graph neural networks. IEEE transactions on neural networks and learning systems, 32(1), 4-24.

[2] Liu, Z., & Zhou, J. (2022). Introduction to graph neural networks. Springer Nature.

[3] Zhou, J., Cui, G., Hu, S., Zhang, Z., Yang, C., Liu, Z., … & Sun, M. (2020). Graph neural networks: A review of methods and applications. AI open, 1, 57-81.

[4] Han, Z., Kammer, D. S., & Fink, O. (2022). Learning physics-consistent particle interactions. PNAS nexus, 1(5), pgac264.

封面：Liu, Z., & Zhou, J. (2022). Introduction to graph neural networks. Springer Nature.

图神经网络与组合优化读书会进行中

现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术不断发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的人工智能算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。
为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面，希望为参与者提供一个学术交流平台，激发参与者的学术兴趣，进一步推动相关领域的研究和应用发展。读书会从2023年6月14日开始，每周三晚 19:00-21:00 举行，持续时间预计8周。欢迎感兴趣的朋友报名参与！
详情请见：加速经典算法效率，突破现实技术瓶颈：图神经网络与组合优化读书会启动

推荐阅读

1. Barabási 最新研究：利用图神经网络加速网络布局2. 2023年，请不要忽略：图神经网络（GNN）这一匹黑马！3. Nat. Mach. Intell. 速递：图神经网络实现三维流体运动中的粒子跟踪4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程5. 成为集智VIP，解锁全站课程／读书会6. 加入集智，一起复杂！

点击“阅读原文”，报名读书会