AGI 读书会启动：迈向通用人工智能的跨学科路径

725次阅读

导语

为了深入探讨 AGI 相关话题，集智俱乐部联合集萃深度感知技术研究所所长岳玉涛、麻省理工学院博士沈马成、天普大学博士生徐博文，共同发起 AGI 读书会，涵盖主题包括：智能的定义与度量、智能的原理、大语言模型与信息世界的智能、感知与具身智能、多视角下的人工智能、对齐技术与AGI安全性、AGI时代的未来社会。读书会从2023年9月21日开始，每周四晚上 19:00-21:00，预计持续7-10周。欢迎感兴趣的朋友报名参与！ AGI 读书会启动：迈向通用人工智能的跨学科路径

读书会背景

AGI (Artificial General Intelligence，通用人工智能) 是指一种能够在各种不同的任务和领域中表现出与人类相当或超过人类水平的智能的人工智能系统。与狭义的人工智能系统专注于解决特定任务或领域不同，AGI 的目标是具备广泛的智能能力，能够像人类一样灵活地适应和执行各种任务。近半个世纪中，随着计算机科学的发展，AGI的蓝图逐渐现实而清晰。
2023年，大模型的出现让人们看到了人工智能强大的、在一些方面几乎接近人类智能的能力，也由此使人们产生了更多关于AGI的顾盼与忧虑。其中，关于何为智能及如何实现智能、不同技术进路的可行性、安全性及对社会的影响等话题饱受关注。
AGI与复杂科学有着密切的联系。一方面，AGI实现的过程中离不开复杂科学，如计算机科学、认知科学、语言学、物理学等多学科交叉、并使用复杂科学的视角进行的研究。另一方面，一旦AGI得以实现，其强大的能力，也将在很大程度上助力复杂科学的研究。
为对相关内容进行更细致的讨论，集智俱乐部与集萃深度感知技术研究所所长岳玉涛、麻省理工学院博士沈马成、天普大学博士生徐博文，联合发起AGI读书会，将通过系列分享与圆桌的方式，共同探讨AGI相关话题。

读书会概览

本次读书会预计分为七个板块，分别是智能的定义与度量、智能的原理、大语言模型与信息世界的智能、感知与具身智能、多视角下的人工智能、对齐技术与AGI安全性、AGI时代的未来社会。
AGI 读书会启动：迈向通用人工智能的跨学科路径第一部分智能的定义与度量，将从智能的定义开始讨论，了解什么是智能、什么是AGI，并讨论如何对其进行度量，以及梳理其发展脉络。
第二部分智能的原理，将关注纷繁的智能现象背后可能存在的普遍原理，探讨更统一的智能理论。
第三部分大语言模型与信息世界的智能，将探究以大语言模型为代表的基础模型表现出通用智能的底层机理。
第四部分感知与具身智能，多模态感知和具身智能被认为是实现通用人工智能的下一个重要研究领域，我们将探讨目前的研究概况，面临的挑战，以及对未来实现通用具身智能的范式的展望。
第五部分多视角下的人工智能，将讨论从认知科学、心理学、范畴论等多个视角和范式下对智能现象的认识和理解。
第六部分对齐技术与AGI安全性，人工智能的安全性与对齐问题的研究是确保人工智能技术的发展最终符合人类利益的必要条件，同时也是一个新兴且快速发展的研究领域，我们将学习和讨论这一领域的重要基本问题、概念、最新的研究进展，以及其未来发展方向的展望。
第七部分AGI时代的未来社会，将通过圆桌的方式，将视野放宽至社会乃至文明，讨论以上提到的一系列技术将会产生的影响。

发起人团队介绍

AGI 读书会启动：迈向通用人工智能的跨学科路径 岳玉涛博士，集萃深度感知技术研究所所长，中国科学技术大学应用物理学学士，美国普渡大学计算物理学硕士、博士。曾任广东省“珠江计划”引进第三批创新科研团队带头人，深圳光启集团高级科学家、首席人才官等。研究兴趣包括智能雷达、多模态感知融合、机器意识等。从事科研及产业化工作近20年，作为共同发明人获已授权中国发明专利354项、美国发明专利18项、欧盟发明专利7项。作为第一负责人完成横纵向科研项目6项，总经费近1.5亿元。作为博士后导师培养博士后13人。发表论文40余篇，获吴文俊人工智能科学技术奖等多个奖项。
AGI 读书会启动：迈向通用人工智能的跨学科路径 沈马成，从麻省理工学院机械系取得博士学位，师从美国工程院院士Jonathan How，博士期间研究方向为多智能体强化学习和机器人。目前的研究兴趣包括通用具身智能，开放式学习系统（open-ended learning），以及强人工智能可能导致的生存性风险等，并对从神经科学、信息论和复杂动力系统等角度探索智能现象背后的基本原理很感兴趣。
AGI 读书会启动：迈向通用人工智能的跨学科路径 徐博文，美国天普大学PhD在读，研究方向为通用人工智能（AGI），致力于探索通用智能的理论并创造“真正的”人工智能。个人主页：http://www.xubowen.site/

报名参与读书会

本读书会适合参与的对象

• 对AGI话题有所研究，或对AGI较感兴趣希望了解更多内容的科研工作者；

• 能基于读书会所列主题和文献进行深入探讨，可提供适合的文献和主题的朋友；

• 能熟练阅读英文文献，并对复杂科学充满激情，对世界的本质充满好奇的探索者；

• 想锻炼自己科研能力或者有出国留学计划的高年级本科生及研究生。
本读书会谢绝参与的对象为确保专业性和讨论的聚焦，本读书会谢绝脱离读书会文本和复杂科学问题本身的空泛的哲学和思辨式讨论；不提倡过度引申在社会、人文、管理、政治、经济等应用层面的讨论。我们将对参与人员进行筛选，如果出现讨论内容不符合要求、经提醒无效者，会被移除群聊并对未参与部分退费。一切解释权归集智俱乐部所有。
运行模式本季读书会预计讨论分享7-10次，按暂定框架贯次展开；每周进行线上会议，由 1-2 名读书会成员以PPT讲解的形式领读相关论文，报名读书会成员可以加入社群，参与讨论，会后可以获得视频回放持续学习，未报名成员可以在集智俱乐部B站或者视频号看公开直播。
举办时间从2023年9月21日开始，每周四晚上 19:00-21:00，预计持续7-10周。我们也会对每次分享的内容进行录制，剪辑后发布在集智斑图网站上，供读书会成员回看，因此报名的成员可以根据自己的时间自由安排学习时间。
参与方式此次读书会为线上闭门读书会，采用的会议软件是腾讯会议（请提前下载安装）。在扫码完成报名并添加负责人微信后，负责人会将您拉入交流社区（微信群），入群后告知具体的会议号码。
报名方式

第一步：扫码填写报名信息。

AGI 读书会启动：迈向通用人工智能的跨学科路径

第二步：填写信息后，付费299元。（可参与共创任务获取积分，积分符合标准可以申请退费）

第三步：添加负责人微信，拉入对应主题的读书会社区/微信群。（本读书会可开发票等证明材料，请联系相关负责人沟通详情）
针对学生的退费机制读书会通过共学共研的机制，围绕前沿主题进行内容梳理和沉淀，所以针对于学生，可以通过参与共创任务，获取积分，积分达到退费标准之后，可以直接退费。
加入社区后可以获得的资源

在线会议室沉浸式讨论：与主讲人即时讨论交流

交互式播放器高效回看：快速定位主讲人提到的术语、论文、大纲、讨论等重要时间点

高质量的主题微信社群：硕博比例超过80%的成员微信社区，闭门夜谈和交流

超多学习资源随手可得：从不同尺度记录主题下的路径、词条、前沿解读、算法、学者等

参与社区内容共创任务：读书会笔记、百科词条、公众号文章、论文解读分享等不同难度共创任务，在学习中贡献，在付出中收获。

共享追踪主题前沿进展：在群内和公众号分享最新进展，领域论文速递
参与共创任务，共建学术社区

• 读书会笔记：在交互式播放器上记录术语和参考文献

• 集智百科词条：围绕读书会主题中重要且前沿的知识概念梳理成词条。例如：

• 论文解读分享：认领待读列表中的论文，以主题报告的形式在社区分享

• 论文摘要翻译：翻译社区推荐论文中的摘要和图注

• 公众号文章：以翻译整理或者原创生产形式生产公众号文章，以介绍前沿进展。例如：论文翻译

科普文章翻译

讲座整理

PS：具体参与方式可以加入读书会后查看对应的共创任务列表，领取任务，与运营负责人沟通详情，上述规则的最终解释权归集智俱乐部所有。

读书会阅读材料

以下是由3位发起人老师和多位主讲人推荐的文献列表与相关学习资源。欢迎扫码查看收藏，可以直接跳转链接，下载PDF文件，收藏参考文献列表：

AGI 读书会启动：迈向通用人工智能的跨学科路径
智能的定义与度量 • Wang, Pei. 2019. “On Defining Artificial Intelligence.” Journal of Artificial General Intelligence 10 (2): 1–37. doi:10.2478/jagi-2019-0002.推荐原因：定义智能很大程度上是一个哲学问题，这篇文章严谨地讨论和给出了智能的定义，并抓住了智能的重要特点。某篇调研表明在众多定义中该定义获得了最高的认可度。
• Wang, Pei, and Ben Goertzel. “Introduction: Aspects of artificial general intelligence.” Proceedings of the 2007 conference on Advances in Artificial General Intelligence: Concepts, Architectures and Algorithms: Proceedings of the AGI Workshop 2006. 2007推荐原因：该文章是通用人工智能(AGI)一词的“缘起”，说明了AGI一词为什么、如何被发明。
• Chollet, François. 2019. “The Measure of Intelligence.” Cornell University – arXiv.推荐原因：该文章比较全面地分析智能现象的本质特征，据此提出智能的度量方法，并给出完整的数学表达。
• Peng, Yujia, et al. “The Tong Test: Evaluating Artificial General Intelligence Through Dynamic Embodied Physical and Social Interactions.” Engineering (2023).推荐原因：北京通用人工智能研究院等机构关于度量AGI的最新工作。
• Xu, Bowen, and Quansheng Ren. “Artificial Open World for Evaluating AGI: A Conceptual Design.” International Conference on Artificial General Intelligence. Cham: Springer International Publishing, 2022.推荐原因：AGI领域中关于度量AGI的最新工作之一，探讨了度量AGI的关键因素，即排除开发者经验的介入，并据此提出了度量AGI的方法。
智能的原理 • Ma, Yi, Doris Tsao, and Heung-Yeung Shum. n.d. “On the Principles of Parsimony and Self-Consistency for the Emergence of Intelligence.”推荐原因：计算机科学和神经科学领域的顶级研究者的交叉工作，总结、分析并部分验证了智能涌现的两个底层原理：简约、自洽
• James S. Albus. “Outline for a Theory of Intelligence” IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS, VOL. 21, NO. 3, (1991)推荐原因：完整的构建一个关于智能的模型和理论
• Y. Yue, “A World-Self Model Towards Understanding Intelligence,” in IEEE Access, vol. 10, pp. 63034-63048, 2022, doi: 10.1109/ACCESS.2022.3182389.推荐原因：将世界模型和自我模型相结合，分析智能的四个本质构成要素，并构建一个基于信息压缩和概念网络的智能的数学模型Ilya的Talk “An observation on Generalization”推荐原因：从算法信息论和信息压缩的角度解释了从自监督学习中涌现出泛化能力的原因
大语言模型与信息世界的智能 • Bommasani, Rishi, DrewA. Hudson, Ehsan Adeli, RussB. Altman, Simran Arora, Sydneyvon Arx, MichaelS. Bernstein, et al. 2021. “On the Opportunities and Risks of Foundation Models.” Cornell University – arXiv.推荐原因：系统性地总结了近些年深度学习领域新出现的以基础模型为代表的新范式并对多个与智能相关的话题进行了深入的讨论
• Park, JoonSung, JosephC. O’Brien, CarrieJ. Cai, MeredithRingel Morris, Percy Liang, and MichaelS. Bernstein. 2023. “Generative Agents: Interactive Simulacra of Human Behavior.”推荐原因：第一次展示了利用大语言模型在多智能体环境中能够自发涌现出的复杂社交行为
• Dissecting Recall of Factual Associations in Auto-Regressive Language Models, https://arxiv.org/abs/2304.14767v1推荐原因：对自回归大语言模型中的神经元与事实间的对应关系进行分析
• Finding Neurons in a Haystack: Case Studies with Sparse Probing, https://arxiv.org/abs/2305.01610v2推荐原因：深入神经网络的细节，挖掘神经元表达知识的具体方式
• Huang, Shaohan, Li Dong, Wenhui Wang, Yaru Hao, Saksham Singhal, Shuming Ma, Tengchao Lv, et al. 2023. “Language Is Not All You Need: Aligning Perception with Language Models.”推荐原因：面向整合语言、多模态感知、行为、世界建模，本文的KOSMOS-1是多模态大语言模型的代表性工作。
• Meta-Transformer: A Unified Framework for Multimodal Learning, https://arxiv.org/pdf/2307.10802推荐原因：刚出来不久的多模态学习的工作，也很有代表性
感知与具身智能 • Ha, David, and Jürgen Schmidhuber. 2018. “World Models.” Cornell University – arXiv. (RL approach 强化学习视角)推荐原因：用简单易懂且深刻的论述和方法指出学习世界模型对解决具身智能问题的重要性，相比于强化学习领域提出的其他很多复杂的框架和方法，这篇文章的思想更加符合如非必要勿增实体的原则，更加触及问题的本质
• LeCun, Yann. “A path towards autonomous machine intelligence version 0.9. 2, 2022-06-27.” Open Review 62 (2022).推荐原因：这篇文章传递了深度学习的奠基人之一Yann Lecun对于实现通用人工智能方法的深入思考，强调了世界模型，基于能量的模型架构和自监督学习的潜力
• Sutton, Richard. “The bitter lesson.” Incomplete Ideas (blog) 13.1 (2019).推荐原因：这篇博客文章是强化学习的奠基人Richard Sutton 基于其数十年的科研经验总结出的发人深省的思考，他指出真正能够规模化地提高深度学习的方法并不是通过对具体问题提出更好的归纳偏置来优化神经网络架构，而是算力和搜索；实现通用人工智能并不应该靠研究者把自己对问题的知识 hard-code 进算法，而是应该设计能使机器自己学到这些知识的算法。
• Wang, Guanzhi, et al. “Voyager: An open-ended embodied agent with large language models.” arXiv preprint arXiv:2305.16291 (2023).推荐原因：第一次展示了利用大语言模型可以不需要目标函数和训练，在复杂的开放式环境中通过与环境的交互和反馈不断提升技能，并达到人类水平的智能体
• Eric Jang, “How Can We Make Robotics More like Generative Modeling?” (blog, https://evjang.com/2022/07/23/robotics-generative.html)推荐原因：这篇博客文章指出了过去几年具身智能领域主流的模仿学习和强化学习方法的根本性缺陷，并极具前瞻性地提出了借鉴语言模型领域的范式来解决通用具身智能的构想。
• Zador, Anthony, et al. “Catalyzing next-generation artificial intelligence through neuroai.” Nature communications 14.1 (2023): 1597.推荐原因：指出了目前的深度神经网络与自然界中的智能体相比最显著的缺乏灵活性和适应变化能力的局限性，据此提出具身图灵测试，并提出对神经科学的深入研究将揭示智能现象底层原理，从而极大地推进具身智能发展的观点
多视角下的智能 • Principle (NARS): Wang, Pei. “Intelligence: From definition to design.” International Workshop on Self-Supervised Learning. PMLR, 2022. （代表性项目-1）推荐原因：NARS是AGI领域中的代表性项目之一，旨在研究“原则”上与人相似的智能系统。NARS是基于逻辑的系统，但超越了传统的符号主义，且拥有坚实的哲学和理论基础。
• Function (ACT-R/Sigma/Soar): Laird, John E., Christian Lebiere, and Paul S. Rosenbloom. “A standard model of the mind: Toward a common computational framework across artificial intelligence, cognitive science, neuroscience, and robotics.” Ai Magazine 38.4 (2017): 13-26. （代表性项目-2）推荐原因：ACT-R/Sigma/Soar三者都是AGI领域中的代表性项目，旨在研究认知“功能”上与人相似的系统。该文章结合了这三个工作，并提出“认知的标准模型”。通过此文章可以了解从认知的角度研究的AGI的基本特征。
• Capability (Cyc): Lenat, Douglas B. “CYC: A large-scale investment in knowledge infrastructure.” Communications of the ACM 38.11 (1995): 33-38. （代表性项目-3）推荐原因：是比较老的AGI领域代表性项目之一，旨在研究问题求解“能力”上与人相似的系统。尽管其中有些观点略显过时，但仍有了解的价值。
• Structure (HTM): Hole, Kjell Jørgen, and Subutai Ahmad. “A thousand brains: toward biologically constrained AI.” SN Applied Sciences 3.8 (2021): 743. （代表性项目-4）推荐原因：HTM/“千脑智能”是AGI领域的代表性项目之一，旨在研究“结构”与人脑相似的系统。该文章是对该路线的综合阐述。说明：GPT-4也是代表性项目之一，旨在研究“行为”上与人相似的系统，但在前面的话题中已经有详细讨论，因此此处不再重复。
• Friston, Karl. 2010. “The Free-Energy Principle: A Unified Brain Theory?” Nature Reviews Neuroscience, January, 127–38. doi:10.1038/nrn2787. (Neuroscience approach 神经科学视角)推荐原因：提出了最小自由能原理作为大脑感知世界和规划的内在机理的假说，将感知和规划统一在同一个普适的数学框架下，具有启发性。
• Robert J. Sternberg. “Human Intelligence: The Model Is the Message” Science (1985): pp. 1111-1118推荐原因：心理学层面的智能原理分析，通过内部世界、外部世界、经历的结合来理解智能
• JOHNSON, W, and T BOUCHARDJR. 2005. “The Structure of Human Intelligence: It Is Verbal, Perceptual, and Image Rotation (VPR), Not Fluid and Crystallized.” Intelligence 33 (4): 393–416. doi:10.1016/j.intell.2004.12.002.推荐原因：认知科学视角下的智能
• Yuan, Yang. “A Categorical Framework of General Intelligence.” arXiv preprint arXiv:2303.04571 (2023). 数学（范畴论）视角推荐原因：提出了一种范畴论框架下对通用智能的定义，为理解机器是否能具有自我意识和同理心，如何表征复杂场景，如何理解监督/自监督学习等基本问题提供了一个统一的视角，同时对解决人工智能安全性问题有重要指导意义。
• Artificial Social Intelligence: A Comparative and Holistic View https://www.sciopen.com/article/10.26599/AIR.2022.9150010推荐原因：社会智能与多智能体交互视角下的智能
• Generative Agents: Interactive Simulacra of Human Behavior https://arxiv.org/abs/2304.03442 https://github.com/mkturkcan/generative-agents推荐原因：基于大语言模型生成的智能体的交互行为与社会智能，著名的“斯坦福小镇”的原文
对齐技术与AGI安全性 • Ngo, Richard. “The alignment problem from a deep learning perspective.” arXiv preprint arXiv:2209.00626 (2022).推荐原因：较为全面且严谨地论述了基于深度学习技术的人工智能模型将面临的对齐问题及其挑战，如reward-hacking，misgeneralized internal goal，power-seeking等，具有前瞻性和启发性。
• Shah, Rohin, et al. “Goal misgeneralization: Why correct specifications aren’t enough for correct goals.” arXiv preprint arXiv:2210.01790 (2022).推荐原因：详细论述了基于强化学习的对齐技术面临的挑战：即使其目标函数与人类的意图正确对齐，仍会由于人工智能体错误的泛化导致其行为难以对齐。
• Casper, Stephen, et al. “Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback.” arXiv preprint arXiv:2307.15217 (2023).推荐原因：全面而详细地论述了目前业界最广泛应用的RLHF对齐技术存在的缺陷，对人工智能安全性和对齐技术未来的研究方向提供了指导。
• Hendrycks, Dan, and Mantas Mazeika. “X-risk analysis for ai research.” arXiv preprint arXiv:2206.05862 (2022).推荐原因：总结了人工智能系统造成生存性风险的论据，对相关领域研究者具有重要的指导意义。

• AGI safety fundamentals: alignment course. https://course.aisafetyfundamentals.com/alignment推荐原因：人工智能安全性领域具有代表性的课程，系统而全面地介绍了对齐领域相关的研究问题及其面临的挑战。
其他资料

• 李熙（AIXI） Legg, Shane, and Marcus Hutter. “Universal intelligence: A definition of machine intelligence.” Minds and machines 17 (2007): 391-444.

• Russell, Stuart, and Peter Norvig. 2013. “Artificial Intelligence: A Modern Approach.” Choice Reviews Online, January, 33-1577-33–1577. doi:10.5860/choice.33-1577.

• Gottfredson, LindaS. 1997. “Mainstream Science on Intelligence.” Intelligence.

• Scheibel, ArnoldB., and J.William Schopf. 1997. “The Origin and Evolution of Intelligence.”

• The nature of intelligence, L. L. Thurstone, 1923

点击“阅读原文”，报名读书会