人工智能与心智表征

人工智能与心智表征
辉格
2022年6月19日

继续上周的话题，在上一篇里，我讨论了AI在当前发展路线上将面临的局限，那么，突破这一局限的出路在哪里呢？或者让我换一个更具操作性的问题：未来出现的何种进展，会让我赞叹“这下有戏了！”？

简单说，我期待的是这样一种进展：一个AI系统能解释自己的行动、决定或看法，或者更理想的，一个AI系统的各组成模块都能这么做，至少大部分高层认知模块都能这么做，一些基础知觉模块可能无法解释就自己的知觉过程给出解释，但其知觉结果的表征必须是一个十分有限且相当恒定的离散集，即，当它声称自己看到、听到、闻到或察觉到了什么状况时，这一状况必须以某组清晰界定的概念来表示。

设想一个自动驾驶系统，有次在路上发生了追尾，撞坏了前车，事后它的教练向它提出一连串问题，诸如：你是否认为自己犯了个错误？说说当时发生了什么？你当时是怎么想的？为什么没有及时踩刹车？你考虑了哪些因素后做出的这个决定？在你看来，是否你的某种知觉能力，或知识储备，或决策系统中，存在某种缺陷或不足，导致你未能做出最佳选择？你从这个事故中学到了什么？或准备去学点什么？……

假如这个系统能对诸如此类的问题给出有意义的响应，让这样的问答对话能够继续下去，那我便可以说，其设计者的路子走对了，前途大有可观。

目前的AI系统离这还很遥远，而且很难说已经朝这方向发展了，有些系统能把英语说的很溜，但无法深入到实质性问题，它会跟你绕圈子，说一大堆似乎跟交谈主题有关的话，却从来没有表现出自己对主题有真正的理解和看法。

达到我的要求很不容易，系统不仅需要一个心智，这个心智还要能对自身状态进行表征，才可能对外界表述出来。

囫囵系统注定做不到这一点，因为其囫囵性质，其内部状态是无从表征的，对上面那些问题，它能给出的回答只能像这样：我当时的决定是基于对当时当地综合状况的一种整体直觉而做出，我无法将这一整体直觉分解为若干分立的理由或考虑，因为我生来就不是这么认识世界和考虑问题的。

就是说，一个囫囵系统就自己行动/决策所能给出的唯一解释就是它的gut，此时此地，此情此景之下，gut告诉它，这是最好的决定，如果事后证明这显然不是最佳决定，那会如何呢？那只是个负面反馈，一个负面反馈会让系统做出调整，但具体如何调整，是难以言表的，这一难以言表性是系统的囫囵性质决定了的。

那么，将心智状态和心智过程表征出来有什么好处呢？

有很多好处，让我一个个说。

首先，心智表征能让心智之间展开更有意义的合作。设想一个董事会，正在开会以便就是否投资某个项目做出决定，如果这些董事都是囫囵系统，他们在会上能说些什么呢？他们可能各自给出投资意见：我是否赞成这项投资，我的预期回报有多大，或许还能对此给出一条置信曲线：90%置信度收益率上下限多少，70%置信度收益率上下限多少，完全失败的风险多大，诸如此类，但他们无法解释自己是怎么得出这些数字的。

假如各董事意见不一，怎么办呢？唯一能做的，就是投票决定，当然，更精细一点，每位董事可以依其经验值而被赋予不同投票权重，但囫囵系统之间的合作关系到此为止，他们无法展开讨论，无法倾听、检查和推敲各自的陈述与理由，因而也无法相互补充事实或理由，相互说服，相互启发，更一般的说，他们无法将他人的陈述和意见作为输入，用来重新运行自己的心智过程，从而指望得出更好的意见输出，因为他们的唯一理由就是gut，而gut之间是无法对话的。

一群具有心智表征能力的董事就不同了，一位董事可能对项目做一番介绍，其他董事可能要求他就他所列举的一项事实陈述做出澄清，或提出与之冲突的证据（不一致的知觉结果），他们还可以解释自己计算预期收益的方法和过程，他人也可对这些算法和模型提出质疑，比如指出应该考虑另一项输入，或指出另一个模型在此类评估上表现更好，或指出他在从事实认知到结论之间的论证链条上存在逻辑跳跃或缺陷。

所有这些，都需要他们拥有大致兼容的概念框架，对话才能进行，当然，概念框架未必完全一致，比如董事甲可能发现董事乙不理解自己所使用的某个概念（A），但基于过去的对话经历，甲知道乙理解另一个概念（X），此时甲可能会用类比的方法解释到：A与B在结构S中的关系，就像X与Y在结构T中的关系，而乙听到这个解释后，立即重新运行自己的相关认知过程，重新运行的结果可能对这一类比并不买账，但也可能得出了某些新颖的东西——我们把这称为“启发”。

其次，心智表征也会促成专业分工，设想这群董事经过一番讨论后，赞成投资的一派仍未赢得足够票数，几位董事都表达了对某一特定风险的担忧，比如，未来几年内若核聚变技术取得大突破，赞成派预期中的收益将无法实现，赞成派在知晓他们的反对理由后，可能说：既然你们担忧的是这一点，那好，不如我们听听这方面专家的意见，看看这事情发生的机会有多大。

这些董事的心智中可能都有一个风险评估模块，也有一个技术进展跟踪模块，还有一些相似的知识储备，对核聚变技术的发展状况多少有所知觉，可是，他们的每个模块的构造质量和性能表现可能大不相同，知识储备的覆盖面也不同，各自有所短长，另外，除了他们自己，还有其他可与之交流的心智系统存在着，而且，基于以往的表现，以及对这些表现的共同了解，对于各心智系统的短长所在，大家多少有着一些共识，所以，当赞成派提出，让我们听听那位专家（他可能是董事之一，也可能是位请来的客人）怎么说，大家至少是愿意听一听的——如果他们是真诚参与讨论的话——，而他们听到的内容，将作为新输入，触发相关风险评估模块的重新运行，并且可能得出与之前有所不同的输出。

注意，这样的过程得以发生，有几个重要前提：反对者的提出的反对理由不是囫囵的（我就是反对这项投资，没啥道理可讲），而是有细节的（我担心这项特定风险），而且这些细节是基于共同概念框架来表达的：我担忧的是一种“风险”，它与“核聚变技术”有关；而且这一反对理由背后有着一种因果关系预设：“核聚变技术”的“重大突破”将使得“目标项目”丧失其“技术优势”——这一预设同样是可以接受检查和挑战的。

如果一项理由未能经过如此概念化的表达，它是无法被检查、推敲和挑战的，它要么被全盘接受，要么被全盘抛弃，而无法被讨论，它不能被分解成若干逻辑成分，否定其中之一而保留其余，或将某一成分从一个特定值替换为一个函数，并将该值的计算委托给某个外部模块或系统，从而实现分工。

这样的分工与委托要得以实现，需要心智系统能够就问题的其余部分预先达成一致，从而隔离出分歧点，当董事们决定将某一特定风险的评估任务委托给专家时，他们已经就一些前提达成共识：目标项目的核心优势是一种低成本发电技术，因而与其他发电技术构成竞争关系，所以其他某种发电技术的突破是一种潜在风险，核聚变是一种可能的发电技术——要对问题的局部达成这样的共识，同样需要基于概念框架的逻辑分解，囫囵系统是做不到的。

再比如，当董事们决定将某项收益精算任务委托给某位财务专家时，他们必定已经就某些事实的认定（或其认定机制）达成了起码的共识，否则委托将无法进行，当财务专家看到几套相互矛盾的数据时，采用哪一套？如果他自行决定，那就相当于把整个项目评估任务委托给了他，而不是将分解出的一项子任务委托给了他，这种分解，同样基于共同概念框架，也就是我说的语义界面。

第三，心智表征也是相互补充与启发的前提，一个心智系统可能因为缺乏某方面输入而欠缺对某些事物的知觉能力，而来自其他心智的输入可以（1）提起他对某些他之前忽略的事情的兴趣，去获取更多输入，2）即便没有更多额外的实景输入，也可能促发他在既有数据基础上，从新的角度进行概念再识别，即在一些新线索提示下重新运行实体/特征识别程序，结果可能会获得一些新“洞见”，3）如果来源心智足够可信（可信度可经由以往交往经历和公共声誉而得到评估），他甚至可能直接接受一些输入概念或知识，4）这种外来知识不仅包括事实陈述，也可以是拇指法则（如果出现这种情况，就最好不要那么做），或推理/算法模块（如果他戴且仅戴着一只耳环，不妨找找他是同性恋的其他线索，或，看到一个球状物体时，可以这么估算它的体积），很明显，这种受补充与启发的能力，同样是以语义界面的存在为前提的，系统内部必须已经充分清晰的分解为众多独立模块，相互间通过语义界面分隔与交互，否则，此类输入信息将如何被使用，将是毫无头绪的，因为它们不是有关世界的一阶实景数据，脱离语义界面，你不知道如何让它们与心智既已拥有的知识发生关系。

正是心智表征和语义界面所创造的这些全新可能性，让人类心智表现的如此杰出，个体间的认知分工与合作，让认知能力的扩展和知识储备的积累超越了个体寿命与观察机会的局限，以及单一大脑算力与存储量的局限。

而且分工与合作不仅发生在个体之间，也发生在个体心智内部的各模块之间；所谓意识，就是经由全脑激活而出现的各模块间活跃互动状态，所谓斟酌，就是各模块争相轮番表达看法，陈述理由，主张行动方案的过程；这些模块间互动赖以展开的语义界面，和个体间的语义界面（自然语言），在相当大程度上是对应乃至重合的（虽然不必完全一致，一些在模块间起作用的内隐概念，或许从未在自然语言中得到对应表达）。

必须承认，人类在这方面的表现并不完美，许多所谓的讨论其实是假讨论，参与者其实早就拿定了主意，并不准备认真倾听他人意见，接受任何说服，他们只是假装如此，或许那会起一种安抚作用，而且人们在表达看法时也并不总是有效，事实陈述，立场表达，意愿或愿景的表达，推理过程的解释，常以凌乱模糊的方式交杂在一起，缺乏清晰的分解。

许多认知活动在头脑里或许是诸多模块分工的，但进入口语后其来源边界却模糊了，还有数量关系，我们头脑中或许有一部不错的贝叶斯推断机，以精细的量化指标处理着各种事态的或然性（证据之一是我们的刻板印象往往相当准确有效，而且其实并不那么刻板，会随新输入而调整），可是，在内省以及口语表征中，这些数量特性或许全都丢失了，就是说，有些模块缺乏清晰可用的语义界面，它们是黑箱，无论对于意识的内省机制还是人际交流机制，其内部逻辑都是不可见的。

与此同时，语义界面并非人际互动的唯一界面，我们至少还有一个情绪界面，建议和说服并非影响他人行动的仅有手段，感染与恐吓也是，在董事会上，你可以通过播放一段音乐或展示一些视觉素材来影响其他董事的决定，或在恰当时机给他们喂高糖食物，或通过布置、衣饰或身体姿态来营造某种气氛，诸如此类，在许多情况下，情绪界面或许比语义界面更重要。

但无论如何，至少在某些条件下，在某些事情中，语义界面所创造的潜力得到了很好的开发，否则就不会有文明了；众多学科和工程技术领域所积累起的庞大而精致的知识体系，都是此类开发的成果；所以我相信，AI系统若不具备同样能力，将无法取得智人已经取得的这种成就。

另外，同样诱人的是，心智表征将为解决AI终将面临的伦理困境指明方向；囫囵系统或逻辑黑箱是“不可理喻”的，其行动逻辑无法被检查和验证，因而无从知晓其行为是否会符合某种道德规范，它们也无法被劝诫、警告和说服，无法向他解释，为何这么做是错的，违反了哪条道德准则，因为它们不支持语义界面，你也没有任何手段告诉它：因为国会通过了某个法案，所以从今天起，你不能再以某种方式行事了，或你的行动必须遵守某种新规则了，或许你可以设计某种新的训练环境来改变其行为方式，但你没法直接告诉它不能怎么做，而且训练结果的可靠性也是无从事先（通过检查其内部状态而）验证的，只能在事后才知道，这个事后可能是很久以后。

有了心智表征，这些都变得可能了，通过本文开头所演示的那种对话（第三节），我们有机会了解其心智状况，观察世界和思考问题的方式，理解能力，行动策略，价值取向，都将通过对话展示出来。

有了这个前提，我们才可能判断能否将某类任务交给它，是否赋予他某些自由与责任，是否将其接受为一个合格的独立行动主体，成为一位平等的社会参与者，一位公民。

​Read More