脑与涌现的联系：从协同核到因果涌现

导语

跨尺度、跨层次的涌现是复杂系统研究的关键问题，每当人们谈论涌现时，意识作为一种涌现现象总是会被提及。意识是脑科学研究的核心问题，而随着人工智能的发展，是否需要意识才能实现通用人工智能，也成为广泛讨论的话题。在这种情境下，脑与涌现这两个概念通过意识的纽带被紧密联系在一起。在因果涌现读书会中，约翰·霍普金斯大学研究生荣英淇从因果涌现理论、信息分解视角出发，梳理了“脑与涌现”的一系列最新研究。
「因果涌现」系列读书会第三季由北京师范大学教授、集智俱乐部创始人张江领衔发起，组织对本话题感兴趣的朋友，深入探讨因果涌现的核心理论，详细梳理领域发展脉络，并发掘因果涌现在生物网络和脑网络、涌现探测等方面的应用。读书会自7月11日开始，持续进行中。第四季读书会正在筹备中，将深入探讨信息分解与整合信息论相关话题，欢迎感兴趣的朋友报名参与！
研究领域：脑网络，因果涌现，信息分解，意识问题，协同荣英淇 | 作者梁金 | 编辑

目录

• 脑与因果涌现的联系

• 协同核（Varley, Luppi）

单纯地从信息分解角度理解脑功能之间的协同和冗余

• 从协同到因果涌现（Rosas）

从信息分解角度定义因果涌现框架并讨论 mind-matter relationship

• 回到因果涌现框架（Hoel）

Erik Hoel 的因果涌现框架在脑网络的可能应用

当我们讨论涌现的时候，我们在讨论什么？鸟群的集群行为可以视为一种集体智慧的涌现，因为其群体行为很难被单只鸟的行动轨迹所解释；格式塔心理学可以视为一种认知上的涌现；人对脸部的偏好让人甚至能够从火星上看到人脸；大语言模型可以视为一种语言能力随着参数规模增长的涌现，似乎它突然间能够去解决之前那些小模型很难覆盖的问题。当我们从科学的视角，想去审视涌现这一现象的时候，去定义它往往是第一步[1]。
在许多有关涌现的哲学文献中，涌现常常被分为强涌现和弱涌现。强涌现与弱涌现最重要的差异在于，强涌现必须得存在向下因果这个箭头，从宏观到微观。而弱涌现的的定义更多只是建议一种似乎无法通过认知去理解的现象发生了，我们只有通过模拟整个过程才能说有些现象发生了因果涌现。
虽然强涌现似乎指向了一种更深刻的涌现形式，但是也被许多哲学家指责其在形而上的科学理解中并不成立。想象一下微观系统能够完全地决定其系统性质，但系统的宏观表现却会反过来对微观造成影响。而强涌现这一概念的捍卫者，则会用意识这一看起来和弱涌现无法关联起来的现象，来反驳强涌现不存在。同样，在各种对涌现更加严格的科学背景下，只要涌现这个案例被提及或质疑，意识也都会出来打排头兵：”意识难道不是一种涌现吗？”[2]——此处我们可以反过来设想，如果意识在某种涌现的讨论中被证明是可以被还原论解释的，那么你还会对涌现这个概念有多大的信心？

图1. 此文作者[2]试图从进化视角与审视意识的产生来说明意识可以是弱涌现

而意识这个概念或难题当然也是许多脑研究的核心问题，且随着人工智能多模态的各方面能力增长，其是否产生意识或者需要意识来达到通用人工智能也被越来越来多的讨论。在这种情境下，脑与涌现这个概念通过意识这个纽带被紧密联系在一起。这里可以抛砖引玉一下，以下的图是当我们探讨脑与涌现的联系却不通过意识[3]，从脑活动的复杂连接、非线性、自组织、多尺度、临界态来说，脑活动本身也是一种涌现现象。

图2. 从全脑建模的视角，脑活动本身也是涌现现象，涌现没有严格定义

但由于参与涌现这一概念研究的科学家背景繁多，所以在不同文献里涌现并没有一个统一定义，或者对于科学研究来讲尤其重要的是，一种能量化涌现的计算框架。而这一科学诉求就又可以回归到我们读书会所讨论的核心命题：因果涌现[4]。
在这里，我们可以问自己这样一个问题，如果说脑与哲学意义上的涌现的联系的最直接案例是意识，那么脑与因果涌现之间的连接又在哪里？我们找到了计算框架，但似乎比较难从组成因果涌现最重要的确定性和简并性这两个概念里去读出和脑领域研究的直接联系。抱着这样的疑问，笔者试图梳理因果涌现这一概念在脑与涌现研究中的可能应用。
图3. 哲学上的涌现核心定义

0. 脑与因果涌现的联系

（学者合作网络视角）

 可能有读者会问，为什么我们会期盼脑与因果涌现会有比较强的联系？聚焦于读书会的主题因果涌现（一种基于信息论的涌现量化框架），如果我们回顾其量化指标（有效信息）、概念发展以及后续的应用工作，可以发现其中许多重要的奠基工作者或多或少都具有神经科学的背景。
例如，有效信息最早是理论神经科学家 Sporn 和 Tononi 试图去解释其有关整合信息论（一种意识理论）的工作时所提出的概念 [5]。后续他的学生 Erik Hoel 则是结合了粗粒化、干预主义因果，将有效信息这一概念进行拓展，提出了最基础的因果涌现框架[4]。直到最近几年，同样是来自于脑领域的科研工作者，如 Rosas 和 Varley，也结合信息论本身的不同视角，如信息分解、局部信息，对因果涌现的概念、基础理论量化手段和应用进行拓展，且往往乐于在脑数据集上进行各种尝试和得到各种结果 [6-7]。
此处值得注意的可能是，Anil Seth 或者 Tononi 这些学者因为都是意识领域的研究者，所以他们在具体的涌现（或因果涌现）与脑相关的研究中，大部分讨论都得与人或动物是否有意识这一概念进行直接联系。但 Varley 因为是 Sporn 的学生, 更喜欢采取网络神经科学这种思考模式，在做有关脑与涌现或因果涌现的讨论时，更喜欢说涌现这一框架跟高阶关系、脑的信息整合或者网络不同区域的功能协同相关。
在这篇文章里，也是读书会中，希望能对近期有关因果涌现和脑的三篇主要工作进行梳理，希望其内容与因果涌现在脑网络中的应用存在一个由弱到强的递进关系，分别是单纯地从信息分解角度去理解脑功能之间的协同和冗余（Varley,Luppi），从信息分解角度去定义因果涌现框架并讨论 mind-matter relationship（Rosas），最后希望能够引入到本期读书会被讨论最多的 Erik Hoel 的因果涌现框架在脑网络中的可能应用。

1. 协同核（Varley, Luppi）

 下图是一个简单的案例，来说明互信息这一常用的关系衡量函数在什么情况下会失效。想象一下，在常规的网络神经科学研究里，当我们只去衡量两个脑区之间的功能连接矩阵时（最常用方法是pearson correlation)，多少可能的高阶关系被忽略掉了。
图4. 简单案例来说明高阶关系在描述系统时是必要的
图5. 高阶关系可以很好地补充对系统性质的描述
Varley 在他的博士论文里，也做了一个比方，把只研究两者之间的关系理解为文学作品《平面国》的二维世界小人去试图发现规律。此处吕奥博同学所提供的另一张图能够很好的进行可视化（图5）。于是一种信息论的拓展框架——信息分解被提了出来。
简单说明，在传统的信息分解框架里，我们有多个source，但只存在一个目标（当然存在信息分解框架）。现在要衡量不同source对于target的预测效果（互信息），我们需要将其分解为单个source对于目标的特有信息，任意source组合时其中所有source都能提供的冗余信息，任意source组合协同才能产生的协同信息。这样的话，我们自然而然就可以用这一框架对一个系统的高阶关系进行描述，因为不再是简单的两两组合进行关联。（当然有同学会询问高阶关系是否与信息分解有同构关系，这方面有争议，吕奥博同学可能有相应的工作能够更好地说明，期待因果涌现读书会第四季。但其实单就信息分解来讲，最大的问题在于其计算框架都没有被解决掉，目前在提出的数学公理下没有能够普遍去计算不同信息原子的定义函数，所以可以理解为相对的工作也只能是种估算 [8]。）
图6. 信息分解，部分信息分解
具体讨论信息分解中协同和冗余和脑功能之间的关联，一个常用的类比是，协同负责的是信息整合，两只眼睛在一起才会对有深度感知（depth detection），冗余提供的是对系统可靠性的保证，我的任何一只眼睛受伤了，都不会影响我能够满足基本的视觉功能。所以在脑研究里，信息分解的一个常用方向是判断一个区域是协同主导还是冗余主导。这方面 Luppi 和 Varley 都做了精彩的工作（由于信息的计算问题，核磁共振数据是被二维化处理了，这点可能很重要）。
图7. 协同与冗余对神经科学的启发
其中Luppi的工作十分全面，从脑区域本身的功能说起，那些负责高阶功能的脑网络肯定要有更多的信息整合，而那些只负责简单感知任务的区域可能安全性更加重要。图8左图具体就是他通过Schaefer Atlas这种分区方法将大脑分为了200个脑区，这200个脑区其实是7个脑功能子网络。接着他计算脑区上一时刻对下一时刻预测的信息分解框架（两个脑区组合预测下一时刻的两个脑区，这种信息分解框架叫做整合信息分解，可以把一些类似于整合信息论、causal density 的基于信息论的意识理论进行更进一步的解剖[9]）。对于这7个子网络的脑区，比较它们的协同冗余主导程度，会发现负责高阶功能的（比如我们通常认为控制网络FPN）脑区多是协同主导，而视觉子网络（Vis）更偏向于冗余主导。图8右图是为了说明这种结果不依赖于特定的分区方法所进行的比较。这篇文章做了极其细致的分析工作，从不同视角出发，考虑不同区域的图结构（全局链接度），生物结构（结构性链接），人猴对比，特定基因，脑能量消耗等，来阐述这种信息分解下的冗余和协同主导的可靠程度，此处只放其中一张图，欢迎大家去阅读原文[10]。
图8.两种分区方法下大脑不同子系统的协同与冗余排名的差
Varley的方法可能有更多的计算细节[11]，比如他比较了传统的衡量脑的功能整合和分化的一些常用度量，来说明信息分解这一框架的必要性。其中给我印象最深的，大家也可以去思考的是，对于一个三变量系统，当我们去算两个变量的互信息和条件互信息时，得到的量是我们真正想要的吗？具体细节见图9。对于单纯的互信息，为什么除去前两项相加之外，我们得减去所有只要涉及{1,2}协同的信息，这是否合理？对于我们认为能有效去除其他变量干扰的条件互信息，可以发现哪怕我们限定是关于变量3的条件互信息，{2,3}和{1,3}的协同信息部分仍然在干扰。
图9. 三变量系统下的互信息和条件互信息
图10说明传统的基于成对关系（pairwise relationship）的脑区分化方式是和冗余这一部分高度关联，但是那些协同结构似乎没有被讨论。图11说明随着时间变化来讲，一个脑区是协同主导还是冗余主导中可能是变化的。
图10. 左图为大脑的高冗余区域，右图为大脑的高协同区域
图11. 一个脑区是协同还是冗余主导，可能随时间变化

2. 从协同到因果涌现

 当我们讨论这么多脑与信息分解之间的联系后，信息分解为什么能够作为一个桥梁，把脑与涌现这两个概念联系在一起呢？
这方面，个人阅读的大概有两篇论文，一篇是Varley与Hoel合作的把因果涌现当作一种信息转换理论的文章。[12] 其具体工作是说明对于一个布尔网络，当我们采取粗粒化这种手段后，哪怕通过某种手段控制微观之间和宏观之间的互信息没有发生变化，在信息分解的框架下进行审视，我们会发现宏观态的信息往往是协同偏好的。那么具体到因果涌现这一框架，为什么涌现这一现象会产生，也是因为那些因果无关的信息在宏观态上被转换成了因果相关信息。这样找到的存在因果涌现这一尺度，就意味着实际的系统功能尺度（这里似乎可以和涌现讨论中的介观联系在一起，生物系统往往需要这种介观尺度去保证其不被环境严重干扰，且能有稳定的功能运行）。但很可惜这篇文章没有具体去验证这一猜想。（参看：《从微观到宏观：涌现的实质是信息转换？》）
另一篇是Rosas的工作 [6]，直接通过信息分解这一个框架去定义因果涌现，并做了相关的脑实验。在Rosas和合作者的这一框架下，因果涌现可以直接理解成一个系统这一时刻的协同（整体部分）是如何对系统下一时刻的协同产生影响。同时这个系统的整体部分也会对系统的个体产生向下因果的影响。
图12. 整体信息分解下的因果涌现定义
同样由于信息分解的计算局限性，这一定义也只能拓展到存在宏观变量的充分条件下。具体在脑实验的结果，便是使用猴在 motor task 的脑电数据当微观变量（X)，脑电数据对猴腕部移动的最佳预测（V，为什么要去预测？是因为这样才能满足宏观变量对微观变量的依附性）作为宏观变量。通过充分条件可以发现因果涌现这个指标是能够为正的，这似乎解释了某种 mind-matter relationship，但然后呢？
图13. 信息分解框架下确定是否存在因果涌现的充分条件
图14. 猴脑实验

3. 回到Erik Hoel的框架

 不同于Rosas的框架，Erik Hoel的有效信息这一概念涉及do操作。根据Rosas的说法，这是因果流派的不同，在只算互信息的时候，我们是通过预测这一概念来判断，符合常见的格兰杰因果流派这一定义。但有效信息这一概念明显是Pearl的干预主义因果这一流派。
此处我们也可以回顾一下因果涌现读书会第一期的NIS内容（《涌现是什么？人工智能给你答案》），其在Hoel的因果涌现框架下，通过编码器用机器学习搜索合适的粗粒化手段，让因果涌现效应最大，但具体和脑功能的联系又在哪里呢？[13] 假如我们把几百个不同脑区的数据输入进去（如果有计算条件的话，甚至是核磁共振数据中的十几万个voxel），最后告诉我在某个尺度存在因果涌现，这里的尺度意味着什么呢？假如其尺度量级不为一但比微观尺度要低，是意味着大脑的不同子系统被找出来了吗？假如尺度量级为一，又意味着什么呢？是意味着这个尺度是Varley在文章里所解释的功能层面的介观尺度，还是类似于信息分解从大脑的信息整合角度去说明，或者回归到最原始的确定性和简并性来与大脑的功能联系在一起。
此处留给读者作为开放性问题。目前在NIS的扩展框架下输入大脑在视觉任务下的核磁共振数据，确实可以发现有存在因果涌现的尺度，但是在尺度和涌现的可解释性上，需要更多探讨和工作 [14]。
图15. 怎么去理解脑数据里的因果涌现构成了问题？
末尾:笔者撰写此文，其目的有二：（1）对因果涌现读书会第三季脑网络应用这一期进行梳理，方便感兴趣的同学老师回顾，另外也是抛砖引玉；（2）对集智社区的正向回馈，非常感谢在北京集智当科研志愿者的四个半月。虽然以后的研究领域不一定与涌现直接相关，但在与研究组成员交流探讨的过程中，却收获了许多新的视角，如跨尺度、快慢变量、长程关联等。集智公司里的小伙伴也在生活学习上提供了不少帮助。
本文涉及到的具体工作讨论中，一篇文献不只一个合作者，仅用Luppi, Varley和Rosas 代称以方便大家定位相应论文，特此说明，以表示对所有相关研究人员的尊重。

参考文献1. Bedau, M. A. (1997). Weak Emergence. Philosophical Perspectives, 11, 375–399. http://www.jstor.org/stable/22161382. Feinberg, Todd E., and Jon Mallatt. “Phenomenal consciousness and emergence: eliminating the explanatory gap.” Frontiers in psychology 11 (2020): 1041.3. Vohryzek J, Cabral J, Vuust P, Deco G, Kringelbach ML. Understanding brain states across spacetime informed by whole-brain modelling. Philos Trans A Math Phys Eng Sci. 2022 Jul 11;380(2227):20210247. doi: 10.1098/rsta.2021.0247. Epub 2022 May 23. PMID: 35599554; PMCID: PMC9125224.4. Hoel EP, Albantakis L, Tononi G. Quantifying causal emergence shows that macro can beat micro. Proc Natl Acad Sci U S A. 2013 Dec 3;110(49):19790-5. doi: 10.1073/pnas.1314922110. Epub 2013 Nov 18. PMID: 24248356; PMCID: PMC3856819.5. Tononi, G., Sporns, O. Measuring information integration. BMC Neurosci 4, 31 (2003). https://doi.org/10.1186/1471-2202-4-316.  Rosas, Fernando E., et al. “Reconciling emergence: An information-theoretic approach to identify causal emergence in multivariate data.” PLoS computational biology 16.12 (2020): e1008289.7.Varley, Thomas. (2022). Flickering Emergences: The Question of Locality in Information-Theoretic Approaches to Emergence. Entropy. 25. 54. 10.3390/e25010054.8. Paul L. Williams,Randall D. Beer: Nonnegative Decomposition of Multivariate Information ,arXiv:1004.2515,20109. Mediano, Pedro A. M. , et al. “Towards an extended taxonomy of information dynamics via Integrated Information Decomposition.” (2021)10. Luppi AI, Mediano PAM, Rosas FE, Holland N, Fryer TD, O’Brien JT, Rowe JB, Menon DK, Bor D, Stamatakis EA. A synergistic core for human brain evolution and cognition. Nat Neurosci. 2022 Jun;25(6):771-782. doi: 10.1038/s41593-022-01070-0. Epub 2022 May 26. PMID: 35618951; PMCID: PMC7614771.11. Varley, Thomas & Pope, Maria & Puxeddu, Maria Grazia & Faskowitz, Joshua & Sporns, Olaf. (2023). Partial entropy decomposition reveals higher-order structures in human brain activity.12. Varley, Thomas F., and Erik Hoel. “Emergence as the conversion of information: a unifying theory.” Philosophical Transactions of the Royal Society A 380.2227 (2022): 20210150.13. Zhang, Jiang & Liu, Kaiwei. (2022). Neural Information Squeezer for Causal Emergence. Entropy. 2023. 10.3390/e25010026.14.Yang, Mingzhe, et al. “Finding emergence in data: causal emergence inspired dynamics learning.” arXiv preprint arXiv:2308.09952 (2023).
读书会视频回放已上线，欢迎观看https://pattern.swarma.org/study_group_issue/526
更多因果涌现相关文章：因果涌现主题合集

作者简介

荣英淇，约翰·霍普金斯大学在读研究生，张江老师因果涌现小组成员。本科生阶段做的是EEG时间序列里的因果发现和视觉行为的元认知概率模型；研究生计划做的是类脑视觉人工神经网络模型。学者主页：https://pattern.swarma.org/user/26902

因果涌现读书会

跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、信息论或信息分解等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。而新兴的因果表征学习、量子因果等领域也将为因果涌现研究注入新鲜血液。

集智俱乐部因果涌现读书会目前已经进行了两季。第一季读书会系统地梳理了因果涌现的概念，以及它与Sloopy Model、复杂性阈值、自指等概念之间的联系，也探讨了因果涌现理论在复杂网络、机器学习中的应用。参看：因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索。第二季读书会探讨了涌现、因果科学和机器学习三大主题的融合，包括信息论拓展、因果涌现理论、因果表示学习、多尺度机器学习动力学建模。参看：因果、涌现与机器学习：因果涌现读书会第二季启动。

此次因果涌现读书会第三季，将进一步围绕因果涌现的核心问题「因果涌现的定义」以及「因果涌现的辨识」进行深入学习和讨论，对 Erik Hoel 提出的 Causal Emergence，Causal Geometry 等因果涌现的核心理论进行探讨和剖析，并详细梳理其中涉及到的方法论，包括从动力学约简、隐空间动力学学习等其他领域中学习和借鉴相关的研究思路，最后探讨因果涌现的应用，包括基于生物网络、脑网络或者涌现探测等问题展开扩展，发掘更多的实际应用场景。因果涌现读书会第四季正在筹备中，将重点讨论和梳理信息分解与整合信息论相关研究。

因果涌现社区聚集了500+成员，积累了大量论文解读资料。欢迎感兴趣的朋友报名，加入因果涌现社区，并解锁对应录播权限。

本季读书会详情与报名方式请参考：

因果涌现读书会第三季启动：深入多尺度复杂系统核心，探索因果涌现理论应用

神经动力学模型读书会

为了促进神经科学、系统科学以及计算机科学等多领域学术工作者的交流合作，吸引更多朋友共同探索脑科学与类脑研究，周昌松、臧蕴亮、杨冬平、郭大庆、陈育涵、曹淼、刘泉影、王大辉、刘健、王鑫迪等来自国内外多所知名高校的专家学者在集智俱乐部共同发起「神经动力学模型」读书会，历时四个月研讨，近日圆满结束。
本季读书会形成了聚集500+成员的神经动力学社区，积累了40+小时综述、解读、研讨的视频记录，以及多篇社区成员总结的词条、笔记、翻译、科普资料等。现在报名加入读书会，即可加入社区交流讨论（微信），并解锁相关视频、文本资料。我们对脑的探索才刚刚起航，欢迎你一道参与，共同点亮更多脑科学研究的岛屿！

详情请见：

500+神经动力学社区成员，邀你共同点亮更多脑科学研究的岛屿

推荐阅读

1. 什么是涌现？人工智能给你答案2. 互信息的“微积分”3. PNAS 速递：部分熵分解揭示人脑活动的高阶信息结构  4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程5. 成为集智VIP，解锁全站课程／读书会6. 加入集智，一起复杂！

点击“阅读原文”，报名读书会