整合信息论：我们可以从公理出发推演出整个意识理论吗？｜周日直播·因果涌现读书会第四季

导语

今年9月份，124位科学家签署一封公开信指出，关于意识的整合信息论是伪科学，引发广泛争论。意识是一个困难的问题，被称为“意识难题”，科学家们提出大量理论来回答意识是什么，意识如何产生。其中要数 Giulio Tononi 等人提出的整合信息论最为雄心勃勃，它试图从公理出发，像几何学一样，推演出整个意识理论。

另一方面，整合信息论的理论繁杂细密，理解起来颇为困难。本周日的「因果涌现读书会第四季」，美国亚利桑那州立大学复杂系统博士章彦博将详细梳理整合信息论的框架，理解因果信息、整合信息、概念信息、整合概念信息Φ等各个概念之间的关系。欢迎感兴趣的朋友报名参与！

内容简介

目前，意识的主流理论包括更高层次理论（higher-order theory）、全局工作空间理论（GWT）、再入与预测加工理论，以及整合信息论。这些理论各有千秋，也有支持各自理论的实验。整合信息论主要关注信息和整合。作者从其提出的几个基本意识公理出发，层层构建，提出了因果信息、整合信息、概念信息，以及整合概念信息Φ。这些度量有两个核心：信息和整合。作者提出了信息的内在视角定义：信息就是产生不同的不同。在这一理念下，作者提出了因果信息和概念信息。而整合则是从拆分的后果去度量，以此，作者提出了整合信息与整合概念信息。整合信息论的理论繁杂细密，本次读书会主要在于梳理整合信息论的框架，理解各个概念之间的关系。

内容大纲

1. 意识：整合信息论的缘起

2. 框架：整合信息论的框架和直觉理解

3. 整合信息论

1. 公理体系
2. 因果信息
3. 整合信息
4. 最大不可约因果集
5. 概念结构与概念信息
6. 整合概念信息

核心概念

因果信息

整合信息

观念信息

观念整合信息

推土距离

主讲人简介

美国亚利桑那州立大学复杂系统博士，本科毕业于中国科学技术大学凝聚态物理系，现在塔夫茨大学进行博士后研究，集智科学家，曾在瑞典卡罗琳斯卡医学院进行访问交流。研究方向：统计物理、复杂系统等。他的研究兴趣主要是试图理解我们这个世界的“特殊尺度”。为什么原子会存在？为什么分子会存在？为什么“事物”的概念是一个有用的概念？此外，他还致力于利用化学反应网络探索生命的起源。学者主页：https://pattern.swarma.org/user/1244

直播信息

时间：2023年12月24日（本周日）上午9:00-11:00
参与方式：

斑图链接：https://pattern.swarma.org/study_group_issue/596

扫码参与因果涌现读书会，加入群聊，获取系列读书会回看权限，加入因果涌现社区，与社区的一线科研工作者沟通交流，共同推动因果涌现这一前沿领域的发展。

参考文献

Oizumi, Masafumi, Larissa Albantakis, and Giulio Tononi. “From the phenomenology to the mechanisms of consciousness: integrated information theory 3.0.” PLoS computational biology 10.5 (2014): e1003588.
关于整合信息论的更多学习资料：

因果涌现读书会第一季相关内容

何真：整合信息论——探索意识的机制

https://pattern.swarma.org/study_group_issue/145

岳玉涛：整合信息论简介——探索意识的机制

https://pattern.swarma.org/study_group_issue/341

以下是章彦博博士撰写的科普文章，介绍包括整合信息论在内的意识理论，希望可以帮助大家提前了解此次读书会的主题。

意识到底是如何产生的？

关于意识的研究，传统上常常研究意识与大脑活动的相关性。例如，比较一个人清醒和昏迷时大脑活动的差别。但是，这种研究无法区分因果——这些活动是产生意识的原因，还是产生意识的结果？
因此，近年来有一批「意识理论」涌现出来。与传统方法不同，意识理论直接从理论出发，给出意识出现的条件，或者意识的定义。他们主要想解决两个问题（或者之一）：

• 如何判断意识的有无；
• 以及区分意识状态之间的差别。

Nature Reviews Neuroscience 发表的这篇综述[1]，比较全面地概览了各种意识理论。本文也会按照篇文章的分类，大体介绍四种意识理论：更高层次理论（Higher-order theory），全局工作空间理论（Global workspace theories），整合信息论（Integrated information theory），以及再入与预测加工理论（Re-entry and predictive processing theories）。这几个理论中，我比较熟悉的只有整合信息论，所以会相对多介绍一点它的细节，以及个人评价。

论文题目：Theories of consciousness

论文链接：

https://www.nature.com/articles/s41583-022-00587-4

集智俱乐部此前曾完整翻译过这篇综述，欢迎感兴趣的读者深入阅读：

《意识理论综述：众多竞争的意识理论如何相互关联？》

难问题

意识是一个困难的问题，事实上，哲学中直接就有一个专门的词：「意识的难题」（Hard problem of consciousness）。在1714年，微积分的发明者之一——莱布尼兹出版了他的哲学著作《单子论》（La Monadologie），其中提到了一个思想实验：
必须承认，仅仅靠机械的运动、数值，是无法解释知觉的存在的。想象一个机械装置，我们不知它有无知觉。因此，我们将自己缩小，走进其中，可以看清机器运行的所有细节、过程，也可以理解过程背后的力学原理。甚至，我们还能预测机械将如何运转。
然而，这一切似乎都与这机器的知觉无关。观测到的现象，与知觉之间，似乎总有一个天堑一般，总是无法相互勾连。
这便是「莱布尼兹之堑」（Leibniz’s gap）。开篇时我曾说道，「我更多地会展示各种主流理论，而非给出一个答案」。为什么不给出答案呢，就是因为这个问题太过困难，以至于目前还没有一个定论。按照莱布尼兹的思想实验，想要知道一个系统是否有意识，就得成为那个系统。
似乎无解。观测到的现象，与知觉之间，似乎总有一个天堑一般，总是无法相互勾连。

分类

对付这类看似无解的问题，我们常用的一个手段就是分类：把问题拆分，看看哪部分是可以解决的、哪部分是难以解决的，以及哪部分是不可能解决的。

意识虽然整体上是一个困难的问题，但其中仍然可以进一步划分。关于意识相关的功能、行为，是比较简单的部分；而关于体验、经验这类主观判断的部分，则是困难的部分。举例来说，全局工作空间理论（GWT）主要是将「存在一个公共记忆空间」和意识联系起来了。而整合信息论则讨论了不同体验的差别在哪里。

更高层次理论

更高层次理论（Higher-order theory[2]）认为，如果一个精神状态被其表示所指代，这个精神状态就是有意识的。举例来说，如果我现在看着手机屏幕，我的视觉区会有屏幕的低层次特征（形状、颜色）。而我的前额叶则会有更高层次的表征，例如「手机」这个词汇，它不光指向物理上的手机，也指向了我视觉区的那些特征。那么，前额叶中「手机的概念」，就是低层次特征的「抽象表示态」（meta-representational state）。用论文中的图示，就是下面这个样子的：

在这种「指向」的过程中，有一种特殊的情形，就是自指：自己指向自己。看起来非常玄学，但我们每天都会这么做。例如，我现在就知道我在写文章。那么，具体的「写文章」是一个状态，它涉及了具体的词句，但是，「写文章」这个词又指向了写文章这件事。这就是一种自指。
更高层次理论似乎没有进一步探讨意识产生的具体物理过程，特别是微观层面的物理过程。事实上，目前主流的意识理论都没有讨论这个问题。
我知道会有人用安德森的名言「More is different」[3]为此辩护。但若细究安德森的论文，其中所说的其实是：
微观规则的对称性，不一定会体现在宏观层面上。
而微观上如果不存在意识，很难用 More is different 的说辞去辩护——这完全就是无中生有。复杂系统的「涌现」常常看起来也像是无中生有，但这基本都是因为我们无法理解大规模物体的复杂运动导致的——我们不理解的，便称之为「无」，然后说「无中生有」。
但遗憾的是，目前我们可能必须要忍受这种割裂。其实莱布尼兹也已经用他的「莱布尼兹之堑」表达了类似的观点。在这里，这个问题就此打住，后文之中也将此暂时悬置不论。

全局工作间理论

全局工作空间理论也是类似的路径——有此功能，有此过程，便有意识。全局工作空间理论认为，意识来自于那些全局可用的认知过程。我们可以拿「注意力」来举例：
全局工作空间理论认为，注意力在选择并放大特定的信号[4]，并让其进入全局工作空间。这样就可以调动全脑的功能，来处理一件任务。因此，我们注意的东西，常常就是我们意识到的东西。
全局工作空间认为负责这部分任务的脑区在顶额叶，也有实验表明，顶额叶如果受损，会导致全局的意识丧失。

全局工作空间理论的关键在于「全局」。如何定义全局？是根据对象、数量，还是根据信息如何广播出去的？这些问题仍然存在争论。就如我在开头所说，现在还难以给出「意识是什么」的答案。

再入与预测加工理论

关于意识的实验，有一个非常著名的「双眼竞争实验」：给左右眼看到不同的画面（例如左眼看到房子，右眼看到钢笔），我们可以通过自己的意念，「让」自己稳定地感受到不同的东西。
这种控制是如何产生的？我们的体验又是如何变得稳定的（不会轻易地跳到另一个感受上）。预测加工理论给出了解释：大脑中不光存在自下而上的过程，还存在自上而下的过程。拿视觉为例，自下而上就是从视神经开始，逐渐把信号抽象，变成概念；自上而下则是相反：大脑在预测之后的输入，并试图降低预测的误差，是一种再入。

回到「双眼竞争实验」，当我决定我看到的是房子的时候，右眼看到的钢笔就变成了误差，是需要被消除的。由此，我的决定（预测）影响了我的感知，并压制了钢笔的信号。
预测加工理论并非为意识而生，但却能解释很多意识现象。与此同时，它甚至能和机器学习联系起来，例如可以解释学习过程[5]，或是与梯度下降联系起来[6]。进一步地，如果这种自顶向下的预测存在延时、或者存在循环，就会出现「预测下一时刻的自己」的问题——自指产生了，「更高层次」也产生了，这样就和「更高层次理论」联系了起来。

整合信息论

整合信息论[7]与前面的几个理论都不一样，他的野心非常大：他试图从公理出发，像几何学一样，推演出意识理论的大厦。初读到这里时，我简直像是发现了一个宝藏。然而，我对其了解的越多，失望也就越多。

整合信息论提出了四大公理[8]：

1. 真实：意识体验是真实的；

2. 信息：意识是包含信息的。即便闭上眼睛，什么也看不到，这份黑暗仍然是包含信息的——因为它排除了其他的可能性；

3. 整合：意识是整合的，是一体的，是不可拆分的。例如，「看到桌子上的苹果的体验」不等于「看到桌子的体验」+「看到苹果的体验」；也不等于画面左边的体验+画面右边的体验。

4. 独一：任意时刻，我们的意识只有一个。不会存在两个意识共存、叠加的情况。

这几个公理中，最重要的就是信息和整合两个部分。
先暂时不谈信息，要度量整合，一个非常聪明的办法就是将系统切割。如果能找到一种切割方式，使得系统不受任何影响，那这个系统就是不整合的。举个例子，找到两个陌生人，在它们之间的空气中切割一刀，两个人受到的影响几乎忽略不计。因此两人是不整合的。而如果在情侣之间切割，可以想见，其受到的影响会稍微大一点，但这种影响仍然比不上对人脑的任意切割。
因此，整合信息论所能包含的系统非常广泛。不只是生物系统，一个ETC闸门也是有微弱意识的——将传感器与闸门切割，它的因果信息会受到损失。在各种不同的切割中，最小的损失也是大于零的。因此，整合信息论认为：ETC闸门也是有意识的。
整合信息论用一个符号Φ代表系统的整合信息，论文中虽然没有明说，但是却在处处暗示：Φ就是在度量意识水平。整合信息论的结构极为繁复，如果总结出一个公式，就是下面的样子：

找到一个切割方式c，使得被切割之后的系统sc所损失的信息最小。

而在这里，他们专门开发了一种新的信息度量方法：因果信息。在IIT 2.0之前，因果信息的度量非常优雅——使用因果科学中的do操作，计算「已知一个状态」和「不知此状态」导致的分布差异的K-L散度。这种度量可以看作一种特殊的互信息，即状态转移矩阵的互信息（而非联合分布的互信息）。
有意思的是，在 IIT 3.0 之中，它们将K-L散度换成了modified earth mover distance，即修改过了的推土距离。且不说这里的修改是否合适，这里已经暴露出了整合信息论的一个弱点：它并非如几何学那般精密。从公理得到的理论，也并非浑然天成，而是处处彰显着理论提出者自己的意愿。
拥有个人风格并非坏事，但缺乏限制常常带来问题。一个常见的后果，就是在数学上不自洽。在 IIT 3.0 理论中，有一步会要选择一个信息损失最小化的切割（独一性公理）。但 IIT 理论没有回答如果存在多个损失一致情形下的解决方案。事实上，如果去看他们的代码[9]，就会发现这一步是完全随机的[10][11]。而不同的选择，得到的 Φ 天差地别。
另一个问题则是 IIT 研究的尺度：计算 Φ 的尺度到底是神经级别，还是脑区级别，或者，更为极端地，原子级别？这是一个非常重要的问题，因为这涉及到实验——IIT的实验只考虑了脑区级别的模型，但他们没有论证这里的粗粒化方法是否合理，因此，IIT得到的一个重要结论：意识起源于小脑，也是值得怀疑的。
这些当然不能判IIT死刑，因为他的公理基础仍然是比较牢固的。但是，他们至少也应该后退几步，向着公理体系这一原点后退几步，尝试使用更严谨的数学。
另一个比较偏个人的吐槽，是计算 Φ 巨大的时间复杂度。我自己的估算，其复杂度大概是 O(N!) 级别，一个系统大小超过10，基本就没法计算了。一方面，这是技术上的困难——人脑的神经元远远大于10；另一方面，我认为也是科学上的问题：如果计算它所需要的时间如此巨大，那我们还能确认自己有意识吗？意识需要通过这种繁复的运算才能被感知到吗？

「哲学僵尸」与目的论

回到闸门的例子上，一个简洁的闸门，可以画成这样的电路图[10]：

在这个结构中，系统的不同状态都有比较高的Φ，换句话说，整合信息论认为它具有意识。
然而，如果我们把电路做一些修改，保持原先的功能不变，变成这样：

得到的 Φ 就全都是0了——它没有意识。
这是非常有意思的现象：即便功能一样，不同的物理结构，就会带来不同的意识水平。按照 IIT 理论，前馈神经网络的 Φ=0，而 RNN 则大于零。关键在于是否存在回路（这一点与再入理论很像，但这是IIT理论的推论，而非出发点）。
「ETC闸门有意识」并不是一个笑话，同样地，「保持功能不变，更改一下物理结构，意识就消失了」，在我看来也不是一个需要嘲笑的东西。但它引出了一个重要的问题：我们为何进化出了意识？
要探讨这个问题，我们需要了解「哲学僵尸」的概念：哲学僵尸（英语：Philosophical zombie，或称p-zombie），又译哲学丧尸，是精神哲学上的假设存在物。假设这个世界上存在一种人，外观与物理组成都与一般人类无异，但是他没有意识经验、感质或感情。举例而言，哲学僵尸在撞上尖锐物品时，在外在上与一般正常人类相同，可以看到他的皮肤出现伤口，测量他的神经讯号，也可以测量到疼痛讯号的出现，会出现疼痛的表情，发出叫声，会向其他人表示自己正在疼痛。但是他的内在心灵中，没有疼痛的意识。
简单来说，哲学僵尸的外表与人无异，但却没有意识（哲学僵尸可以通过镜子实验，一来镜子实验测试的是自我意识，而非意识；二来，哲学僵尸在外在看来与人完全一样），没有体验。事实上，Krohn-Rhodes 定理证明，任何有限状态机，都可以被前馈结构所替代，功能完全一致[12]。
如果我们接受IIT理论的一些推论，或是其他任意理论，我们都可以问出一个问题：为了自己活下去，繁育后代，其他的大脑结构也可以，为何我们就进化出了意识呢？
或者更简短地说：我们为何拥有意识？拥有意识体验有什么好处？
主流的意识理论似乎都没有正面的回答。

结语

我在这里介绍了几种主流的意识理论，在一些人看来，好像我们对意识已经完全了解，甚至可以动手计算了；在另一些人看来，似乎什么都没说——「意识乃是至高至玄之物，非我等凡人可窥之堂奥」。但我恰恰就是要反对这两种观点：我们没有完美的意识理论，但也不是完全不能下手。
我们在将来会有一个完善的意识理论吗？我表示谨慎乐观。从乐观的方面看，我们应该会发现一种理论，能够解释、预言各种意识体验；从谨慎的角度看，由于「莱布尼兹之堑」的存在，通过观测似乎永远无法跨越客观与主观、实验与体验。

最后，做个不负责任的判断：自指可能是解决意识的一把钥匙，因为它几乎可以和上述的所有理论联系起来。

• 对于更高层次理论来说，泛函动力学的实验[13]说明：自指映射可以自然地涌现出符号，即更高层次理论中所说的「元表示」；

• 对于全局工作空间来说，同样是泛函动力学：自指映射可以自发的把功能和数据拆分开，这与全局空间对应了起来；

• 对于整合信息理论，自我指涉，本身就是一种回路，有很大希望得到一个比较高的Φ；

• 而对于再入与预测加工理论，关系则更为密切：如果一个系统要预测其自身，就需要对自身建立一个抽象的模型，如此，自指便自然产生了。

更进一步，很多人混淆的「自我意识」，也能包含在自指的框架之内。但这些都是一些方向性的猜想，还没有坚实的实验。

参考文献

1. Seth, A.K., Bayne, T. Theories of consciousness. Nat Rev Neurosci (2022). https://doi.org/10.1038/s41583-022-00587-4 https://www.nature.com/articles/s41583-022-00587-4

2. 又被翻译成意识的高阶理论，个人以为不妥

3. Anderson, P. W. “More Is Different: Broken Symmetry and the Nature of the Hierarchical Structure of Science.” Science 177, no. 4047 (August 4, 1972): 393–96. https://doi.org/10.1126/science.177.4047.393.

4. 这一点很像机器学习中的注意力机制，但机器学习中很少主动构造一个全局工作空间

5. Luczak, Artur, Bruce L. McNaughton, and Yoshimasa Kubo. “Neurons Learn by Predicting Future Activity.” Nature Machine Intelligence 4, no. 1 (January 2022): 62–72.  https://doi.org/10.1038/s42256-021-00430-y

6. Millidge, Beren, Alexander Tschantz, and Christopher L. Buckley. “Predictive coding approximates backprop along arbitrary computation graphs.” Neural Computation 34.6 (2022): 1329-1368. https://direct.mit.edu/neco/article-abstract/34/6/1329/110646/Predictive-Coding-Approximates-Backprop-Along

7. Oizumi, Masafumi, Larissa Albantakis, and Giulio Tononi. “From the Phenomenology to the Mechanisms of Consciousness: Integrated Information Theory 3.0.” Edited by Olaf Sporns. PLoS Computational Biology 10, no. 5 (May 8, 2014): e1003588.  https://doi.org/10.1371/journal.pcbi.1003588

8. IIT理论非常有意思——它有1.0、2.0、3.0版本。不同版本的公理还有所差别。这里引用的是IIT 3.0的公理

9. PyPhi – Github https://github.com/wmayner/pyphi

10. abHanson, J. R., & Walker, S. I. (2021). Formalizing falsification for theories of consciousness across computational hierarchies. Neuroscience of Consciousness, 2021(2), niab014.

11. Hanson, J. R., & Walker, S. I. (2021). On the non-uniqueness problem in integrated information theory. BioRxiv.

12. Krohn K, Rhodes J. Algebraic theory of machines. I. prime decomposition theorem for finite semigroups and machines. Trans Am Math Soc 1965;116:450–64.

13. Naoto Kataoka and Kunihiko Kaneko. “Functional Dynamics. I: Articulation Process.” Physica D: Nonlinear Phenomena 138, no. 3–4 (April 2000): 225–50. https://doi.org/10.1016/S0167-2789(99)00230-4.

（参考文献可上下滑动查看）

本文首发于作者知乎：

https://www.zhihu.com/question/532951714/answer/2506283467

更多关于自指与意识的文章：

• 自指的演化：物质、符号和语义闭包
  
• ChatGPT 向通用意识机器进化的关键——自指的启示
  
• 让 ChatGPT 拥有意识，冯·诺依曼会怎么做？——自指机器的奥秘
  
• 涌现、因果与自指——“因果涌现”理论能否破解生命与意识之谜
• “意识机器”初探：如何让大语言模型具备自我意识？
• 大脑涌现出的意识能反过来控制大脑吗？——向下因果与自由意志
• 脑与涌现的联系：从协同核到因果涌现

新信息论：从分解到整合

因果涌现读书会第四季招募中

什么是意识？意识能否度量？机器能否产生意识？对于意识问题，人们可能即将迎来一个大的突破，各种有关意识的理论正如雨后春笋般展现出勃勃生机。其中神经科学家 Giulio Tononi 的整合信息论（IID）被认为是最有前景的意识理论之一。如果说意识是大脑神经活动的一种涌现结果，那么刻画涌现便成为理解意识过程中一个重要环节。因果涌现理论目前发展出两个派别，除了 Erik Hoel 的有效信息因果涌现框架，还有一个是 Rosas 的信息分解（PID）框架，此后 Rosas 基于此进一步提出融合整合信息论的信息分解框架 ΦID，尝试构建新的意识理论。

一边是信息整合（IIT），一边是信息分解（PID），看似分裂，实际上都是对香农经典信息论的进一步发展。因果涌现读书会第四季「新信息论：从分解到整合」由北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起，旨在梳理信息论领域的发展脉络，从香农的经典信息论开始，重点关注整合信息论和信息分解这两个前沿话题，及其在交叉领域的应用。希望通过对这些“新信息论”度量指标的深入探讨，帮助我们理解什么是意识，什么是涌现，并找到不同学科，不同问题背后的统一性原理。

详情请见：新信息论：从分解到整合｜因果涌现读书会第四季启动

因果涌现社区

跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。因果涌现理论、机器学习重整化技术、信息论或信息分解等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。

集智俱乐部因果涌现读书会目前已经进行了三季。第一季读书会系统地梳理了因果涌现的概念，以及它与Sloopy Model、复杂性阈值、自指等概念之间的联系，也探讨了因果涌现理论在复杂网络、机器学习中的应用。参看：因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索。

第二季读书会探讨了涌现、因果科学和机器学习三大主题的融合，包括信息论拓展、因果涌现理论、因果表示学习、多尺度机器学习动力学建模。请参看：因果、涌现与机器学习：因果涌现读书会第二季启动。

第三季读书会进一步围绕因果涌现的核心问题「因果涌现的定义」以及「因果涌现的辨识」进行深入学习和讨论，对 Erik Hoel 提出的 Causal Emergence，Causal Geometry 等因果涌现的核心理论进行探讨和剖析，并详细梳理其中涉及到的方法论，包括从动力学约简、隐空间动力学学习等其他领域中学习和借鉴相关的研究思路，最后探讨因果涌现的应用，包括基于生物网络、脑网络或者涌现探测等问题展开扩展，发掘更多的实际应用场景。请参看：因果涌现读书会第三季启动：深入多尺度复杂系统核心，探索因果涌现理论应用

此次读书会主题是「新信息论：从分解到整合」，是因果涌现系列读书会的第四季，将重点梳理信息分解与整合信息论的相关研究。请参看：新信息论：从分解到整合｜因果涌现读书会第四季启动

因果涌现社区聚集了600+成员，积累了大量论文解读资料。欢迎感兴趣的朋友报名，加入因果涌现社区，解锁对应录播权限。

因果涌现读书会回放视频第一季：https://pattern.swarma.org/study_group/7第二季：https://pattern.swarma.org/study_group/16第三季：https://pattern.swarma.org/study_group/28第四季：https://pattern.swarma.org/study_group/35
因果涌现社区共创的文章

点击“阅读原文”，报名读书会