信息测度：信息论与系统问题的交叉点｜周日直播·因果涌现读书会第四季

导语

在上周回顾了信息论领域发展之后，本周日（12月3日）上午9:00-11:00，因果涌现读书会第四季第三期将由圣路易斯华盛顿大学（WUSTL）系统科学与数学系研究生吕奥博与北京师范大学系统科学学院硕士生刘凯威、杨明哲一起，从香农信息熵开始，继续深入探讨信息测度问题——在多变量、时间序列与概率分布下如何度量信息？

分享内容简介

在上一期的读书会中我们回顾了信息科学领域的历史以及信息论在这个学科背景下的发展历程。本期读书会我们将关注信息论与系统问题的交叉点——信息测度。
我们将梳理现有信息论相关测度，从香农公式开始了解信息熵、互信息、条件熵、联合熵之间的关系，以及这些测度在多变量情景下的推广。之后我们会关注信息测度如何引入时间的概念以及如何应用于因果分析问题之中。最后我们会关注概率分布间的距离度量，包括推土距离以及KL散度，并探讨它与信息熵之间的等价关系。
本期读书会定位为本季读书会内容铺垫部分的第二期，将会用通俗的例子直观地梳理现有测度的意义以及局限性，并为之后的整合信息论以及信息分解部分提供铺垫。

内容大纲

1. 熵与概率分布表

2. 多变量信息测度

2.1 两变量：条件熵，联合熵，互信息

2.2 多变量：条件互信息，Total correlation，Interaction Information

1. 时间上的信息测度

3.1 转移熵

3.2 因果领域应用

1. 概率分布与信息测度

4.1 推土距离

4.2 KL散度

核心概念

信息熵 (Entropy)，度量信息的不确定性或随机性的基本概念。

条件熵 (Conditional Entropy)，在已知某个随机变量的条件下，另一个随机变量的不确定性度量。

联合熵 (Joint Entropy)，两个随机变量共同发生时的信息熵。

互信息 (Mutual Information)，衡量两个随机变量之间的相互依赖程度。

条件互信息 (Conditional Mutual Information)，在某条件下，两个随机变量之间的互信息量。

总相关性（Total Correlation)，多个变量间共享的信息量，超越两变量间的简单关系。

交互信息（Interaction Information)，多个变量间复杂相互作用的信息量度量。

转移熵 (Transfer Entropy)，量化一个系统过去的状态对另一个系统未来状态的影响。

推土距离 (Earth Mover’s Distance)，一种衡量两个概率分布之间差异的方法。基于将一个分布中的“质量”以最小的工作量转移到另一个分布的概念。

KL散度 (Kullback–Leibler Divergence)，一种度量两个概率分布差异的非对称方法。衡量从一个分布（真实分布）到另一个分布（理论或模型分布）的信息损失。

主讲人简介

吕奥博，圣路易斯华盛顿大学（WUSTL）系统科学与数学系研究生，研究方向为系统科学、信息论、控制等。学者主页：https://pattern.swarma.org/user/74882
杨明哲，北京师范大学系统科学学院硕士生，在张江老师因果涌现研究小组。研究领域是因果涌现、复杂系统自动建模。学者主页：https://pattern.swarma.org/user/76769
刘凯威，北京师范大学系统科学学院硕士研究生，师从张江老师。研究领域涉及生存分析、贝叶斯统计、复杂网络重构、因果涌现等方向。学者主页：https://pattern.swarma.org/user/77240/master

直播信息

时间：2023年12月03日（本周日）上午9:00-11:00
参与方式：斑图链接：https://pattern.swarma.org/study_group_issue/567
扫码参与因果涌现读书会，加入群聊，获取系列读书会回看权限，加入因果涌现社区，与社区的一线科研工作者沟通交流，共同推动因果涌现这一前沿领域的发展。

参考文献列表

集智俱乐部著.深度学习原理与PyTorch实战（第2版）.人民邮电出版社.2022:133.Vicente R, Wibral M, Lindner M, et al. Transfer entropy—a model-free measure of effective connectivity for the neurosciences[J]. Journal of computational neuroscience, 2011, 30(1): 45-67.Barnett L, Barrett A B, Seth A K. Granger causality and transfer entropy are equivalent for Gaussian variables[J]. Physical review letters, 2009, 103(23): 238701.Schreiber T. Measuring information transfer[J]. Physical review letters, 2000, 85(2): 461.

Seth A K. Measuring emergence via nonlinear Granger causality[C]//alife. 2008, 2008: 545-552.

新信息论：从分解到整合

因果涌现读书会第四季招募中

什么是意识？意识能否度量？机器能否产生意识？对于意识问题，人们可能即将迎来一个大的突破，各种有关意识的理论正如雨后春笋般展现出勃勃生机。其中神经科学家 Giulio Tononi 的整合信息论（IID）被认为是最有前景的意识理论之一。如果说意识是大脑神经活动的一种涌现结果，那么刻画涌现便成为理解意识过程中一个重要环节。因果涌现理论目前发展出两个派别，除了 Erik Hoel 的有效信息因果涌现框架，还有一个是 Rosas 的信息分解（PID）框架，此后 Rosas 基于此进一步提出融合整合信息论的信息分解框架 ΦID，尝试构建新的意识理论。

一边是信息整合（IIT），一边是信息分解（PID），看似分裂，实际上都是对香农经典信息论的进一步发展。因果涌现读书会第四季「新信息论：从分解到整合」由北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起，旨在梳理信息论领域的发展脉络，从香农的经典信息论开始，重点关注整合信息论和信息分解这两个前沿话题，及其在交叉领域的应用。希望通过对这些“新信息论”度量指标的深入探讨，帮助我们理解什么是意识，什么是涌现，并找到不同学科，不同问题背后的统一性原理。

详情请见：新信息论：从分解到整合｜因果涌现读书会第四季启动

因果涌现社区

跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。因果涌现理论、机器学习重整化技术、信息论或信息分解等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。
集智俱乐部因果涌现读书会目前已经进行了三季。第一季读书会系统地梳理了因果涌现的概念，以及它与Sloopy Model、复杂性阈值、自指等概念之间的联系，也探讨了因果涌现理论在复杂网络、机器学习中的应用。参看：因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索。
第二季读书会探讨了涌现、因果科学和机器学习三大主题的融合，包括信息论拓展、因果涌现理论、因果表示学习、多尺度机器学习动力学建模。请参看：因果、涌现与机器学习：因果涌现读书会第二季启动。
第三季读书会进一步围绕因果涌现的核心问题「因果涌现的定义」以及「因果涌现的辨识」进行深入学习和讨论，对 Erik Hoel 提出的 Causal Emergence，Causal Geometry 等因果涌现的核心理论进行探讨和剖析，并详细梳理其中涉及到的方法论，包括从动力学约简、隐空间动力学学习等其他领域中学习和借鉴相关的研究思路，最后探讨因果涌现的应用，包括基于生物网络、脑网络或者涌现探测等问题展开扩展，发掘更多的实际应用场景。请参看：因果涌现读书会第三季启动：深入多尺度复杂系统核心，探索因果涌现理论应用
此次读书会主题是「新信息论：从分解到整合」，是因果涌现系列读书会的第四季，将重点梳理信息分解与整合信息论的相关研究。请参看：新信息论：从分解到整合｜因果涌现读书会第四季启动
因果涌现社区聚集了600+成员，积累了大量论文解读资料。欢迎感兴趣的朋友报名，加入因果涌现社区，解锁对应录播权限。
因果涌现读书会回放视频第一季：https://pattern.swarma.org/study_group/7第二季：https://pattern.swarma.org/study_group/16第三季：https://pattern.swarma.org/study_group/28第四季：https://pattern.swarma.org/study_group/35
因果涌现社区共创的文章

点击“阅读原文”，报名读书会