AI4Science的基石：几何图神经网络，最全综述来了！

680次阅读

导语

近日，人大高瓴联合腾讯 AI Lab、清华、斯坦福等机构发布综述论文：《A Survey of Geometric Graph Neural Networks: Data Structures, Models and Applications》。该综述在简要介绍群论、对称性等理论知识的基础上，从数据结构、模型到众多科学应用，对相关几何图神经网络文献进行了系统的梳理。
关键词：几何图神经网络，AI for Science，图基础模型，大语言模型 XS | 编辑ScienceAI | 来源

2023 年 11 月，Nature 连续刊登了两篇重大成果：蛋白质生成方法 Chroma 和晶体材料设计方法 GNoME，均使用了图神经网络作为科学数据的表示工具。
实际上，图神经网络，特别是几何图神经网络，一直是科学智能（AI for Science）研究的重要工具。这是因为，科学领域中的粒子、分子、蛋白质、晶体等物理系统均可被建模成一种特殊的数据结构——几何图。
与一般的拓扑图不同，为了更好描述物理系统，几何图加入了不可或缺的空间信息，需要满足平移、旋转和翻转的物理对称性。鉴于几何图神经网络对于物理系统建模的优越性，近年来各类方法层出不穷，论文数量持续增长。

近日，人大高瓴联合腾讯 AI Lab、清华、斯坦福等机构发布综述论文：《A Survey of Geometric Graph Neural Networks: Data
Structures, Models and Applications》。该综述在简要介绍群论、对称性等理论知识的基础上，从数据结构、模型到众多科学应用，对相关几何图神经网络文献进行了系统的梳理。
论文链接：https://arxiv.org/abs/2403.00485

GitHub链接：https://github.com/RUC-GLAD/GGNN4Science
在这篇综述中，作者调研了 300 多篇参考文献，归纳出 3 种不同的几何图神经网络模型，介绍了面向粒子、分子、蛋白质等多种科学数据上共 23 种不同任务的相关方法，收集了 50 多个相关评测数据集。最后，综述展望了未来的研究方向，包括几何图基础模型、与大语言模型结合等。

下面是各章节简要介绍。

几何图数据结构

几何图由邻接矩阵、节点特征、节点几何信息（例如坐标）构成。在欧氏空间中，几何图通常表现出平移、旋转和反射的物理对称性，一般使用群来刻画这些变换，包括欧式群、平移群、正交群、置换群等等。直观上看，可以理解为置换、平移、旋转、翻转四种操作按一定顺序的复合。

对于众多 AI for Science 领域，几何图是一种有力且通用的表示方法，其可以用于表示众多物理系统，包括小分子、蛋白质、晶体、物理点云等。

几何图神经网络模型

根据实际问题中的求解目标对于对称性的要求，本文将几何图神经网络分为三类：不变（invariant）模型、等变（equivariant）模型、以及受 Transformer 架构启发的 Geometric Graph Transformer，其中等变模型又细分为标量化方法模型（Scalarization-Based Model）与基于球面调和的高阶可操控模型（High-Degree
Steerable Model）。按照上述规则，文章收集并归类了近年来知名的几何图神经网络模型。

这里我们通过各个分支的代表性工作简要介绍不变模型（SchNet[1]）、标量化方法模型（EGNN[2]）、高阶可操控模型（TFN[3]）的关联与区别。可以发现三者均是采用了消息传递机制，只是身为等变模型的后两者额外引入了一次几何消息传递。
不变模型主要利用节点本身的特征（如原子种类、质量、带电量等）与原子间的不变特征（如距离、角度[4]、二面角[5]）等进行消息计算，随后进行传播。
而在此之上，标量化方法额外通过节点间坐标差引入了几何信息，并将不变信息作为几何信息的权重进行线性组合，实现了等变性的引入。
高阶可操控模型则是使用了高阶的球面调和（Spherical Harmonics）与 Wigner-D 矩阵表征系统的几何信息，这类方法通过量子力学中的 Clebsch–Gordan 系数操控不可约表示的阶数，从而实现几何消息传递过程。

几何图神经网络通过这类设计保证的对称性，准确率有大幅提升，并且在生成任务中也大放异彩。
下图是几何图神经网络与传统模型在 QM9、PDBBind、SabDab 三个数据集上进行分子性质预测、蛋白质-配体对接和抗体设计（生成）三个任务中的结果，可以明显看出几何图神经网络的优势。

科学应用

在科学应用方面，综述涵盖了物理（粒子）、生物化学（小分子、蛋白质）以及其它如晶体等多个应用场景，任务定义与所需保证对称性种类出发，分别介绍了各个任务中的常用数据集与该类任务中的经典模型设计思路。

上表展示了各个领域的常见任务与经典模型，其中，按照单一实例与多实例（如化学反应，需要多分子共同参与），文章单独区分了小分子-小分子、小分子-蛋白质、蛋白质-蛋白质三个领域。
为了更好地方便领域内进行模型设计与实验开展，文章按照单一实例与多实例统计了两类任务的常用数据集与基准（benchmark），并记录了不同数据集的样本量与任务种类。
下表整理了常见的单实例任务数据集。

下表整理了常见的多实例任务数据集。

未来展望

文章就几个方面进行了初步的展望，希望能作抛砖引玉之用：

1. 几何图基础模型
在各种任务和领域中采用统一的基础模型的优越性在GPT系列模型的显著进步中已经体现得淋漓尽致。如何在任务空间、数据空间、模型空间进行合理的设计，从而将这种思路引入到针对几何图神经网络的设计上仍是一个有趣的开放问题。

2. 模型训练与现实世界实验验证的高效循环
科学数据的获取是昂贵且耗时的，而仅仅在独立数据集上评估的模型不能直接反应来自现实世界的反馈。如何类似于GNoME（集成了一个端到端的流水线，包括图网络训练、密度泛函理论计算和用于材料发现和合成的自动实验室）实现高效的模型-现实循环迭代的实验范式的重要性将会与日俱增。

3. 与大型语言模型（LLMs）的融合
大型语言模型（LLMs）已被广泛证明具有丰富的知识，涵盖了各个领域。虽然已经有一些工作利用 LLMs 进行某些任务，例如分子属性预测和药物设计，但它们仅在基元或分子图上操作。如何将它们与几何图神经网络有机组合，使其能够处理 3D 结构信息并在 3D 结构上执行预测或生成，仍然具有相当的挑战性。

4. 等变性约束条件的放松
毫无疑问，等变性对增强数据效率和模型泛化能力至关重要，但值得注意的是，过强等变性约束有时可能过于限制模型，潜在地损害其性能。因此，如何使得所设计的模型在等变性与适应能力中取得平衡是一个非常有趣的问题。这方面的探索不仅可以丰富我们对模型行为的理解，还可以为开发更具鲁棒性和通用性的解决方案铺平道路，使其具有更广泛的适用性。

参考文献

[1]
Schütt K, Kindermans P J, Sauceda Felix H E, et al. Schnet: A
continuous-filter convolutional neural network for modeling quantum
interactions[J]. Advances in neural information processing systems, 2017, 30.

[2]
Satorras V G, Hoogeboom E, Welling M. E (n) equivariant graph neural
networks[C]//International conference on machine learning. PMLR, 2021:
9323-9332.

[3]
Thomas N, Smidt T, Kearnes S, et al. Tensor field networks: Rotation-and
translation-equivariant neural networks for 3d point clouds[J]. arXiv preprint
arXiv:1802.08219, 2018.

[4]
Gasteiger J, Groß J, Günnemann
S. Directional Message Passing for Molecular Graphs[C]//International
Conference on Learning Representations. 2019.

[5]
Gasteiger J, Becker F, Günnemann S. Gemnet:
Universal directional graph neural networks for molecules[J]. Advances in
Neural Information Processing Systems, 2021, 34: 6790-6802.

[6]
Merchant A, Batzner S, Schoenholz S S, et al. Scaling deep learning for
materials discovery[J]. Nature, 2023, 624(7990): 80-85.

图神经网络与组合优化读书会

现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术不断发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的人工智能算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。
为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院副教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面。读书会已完结，现在报名可加入社群并解锁回放视频权限。
详情请见：加速经典算法效率，突破现实技术瓶颈：图神经网络与组合优化读书会启动