引用《道德经》，谈大国分歧，Sam Altman最新演讲：AI 安全始于足下

OpenAI 创始人 Sam Altman 的环球之旅已经进行到第四周，在此期间，他已经去到五个大洲的近20个国家，与学生、开发人员和国家元首会面。今天，北京时间上午9点20分，Sam 以视频连线的方式现身于中国北京举办的2023智源人工智能大会，发布了演讲，并接受了院士张宏江的访谈对话。

演讲依然围绕近期他所呼吁的 AI 安全问题的关注。Sam 指出，当下，AI 正以极快的速度发展并扩展人类想象的画布。在此过程中，潜在红利与危机是并存的。随着日益强大的 AI 系统的出现，全球合作的赌注从未如此之大。考虑到 AI 未来所带来的问题（如医疗、农业领域的应用）之严峻性，从当下开始重视、推进 AI 安全是刻不容缓的。

Sam 特别提到，大国之间分歧常有，但在重要的大事上，还是需要协调与合作，寻找共同利益点。他特别引用了老子《道德经》中的话：千里之行，始于足下。他认为，当下可以迈出的最有建设性的一步，是国际科技界间的通力合作，特别是推动建立提高 AI 安全技术进步方面的透明度和知识共享的机制。

值得注意的是，此前在周游列国时，在AI安全和治理方面，Sam 的主要观点是：目前AI系统还没有强大到威胁社会安全的地步，因此不必对正在研究的AI系统进行严格监管，这无疑在减缓创新。此次在中国的演讲，Sam 的演讲未曾涉及监管的讨论。但他提出，人们的确需要为迎接超出想象强大的AI系统进行监管和安全上的讨论。

极客公园全程观看了这场演讲，以下内容经整理编辑后发布。

精彩摘要：

1. 当下人工智能革命影响如此之大的原因，不仅在于其影响的规模，也是其进展的速度。这同时带来红利和风险。
2. AI 带来的潜在红利是巨大的。但我们必须共同管理风险，才能达到用其提升生产力和生活水平的目的。
3. 随着日益强大的 AI 系统的出现，全球合作的赌注从未如此之大。大国意见分歧在历史上常有，但在一些重要的大事上，必须进行合作和协调。推进 AGI 安全是我们需要找到共同利益点的最重要的领域之一。
4. 对齐仍然是一个未解决的问题。想象一下，未来的AGI系统或许具有10万行二进制代码，人类监管人员不太可能发现这样的模型是否在做一些邪恶的事情。
5. GPT-4花了八个月的时间完成对齐方面的工作。但相关的研究还在升级，主要分为扩展性和可解释性两方面。

演讲全文：

 每次我访问中国，我遇到的技术人才都能使我惊奇和振奋。正如你前面提到的，我现在正处于环世界之旅的第四个星期。我已经去了在五个大洲的近20个国家，与学生、开发人员和国家元首会面。这次旅行对我是一种激励。我们看到了世界各地的人们都已经在使用 AI 技术，以令人难以置信的方式改变生活。我们也收到了来自用户的宝贵反馈，告诉我们如何能使这些工具变得更好。

 我们还有机会与外国领导人进行有意义的对话，讨论需要建立的监管安全措施，以确保安全和可靠地部署日益强大的人工智能系统。

 整个世界现在都在集中注意力，想要解决当今的人工智能问题，这也是非常正确的、值得我们努力解决的重要议题。我们还有很多工作要做，但鉴于我们已经取得的进展，我相信我们一定会达到目标。

 今天，我想谈一谈未来。具体来说，我想谈谈我们看到的 AI 能力的增长速度，以及我们现在需要做什么，才能为将它们部署到世界做负责任的准备。

 科学史告诉我们，技术进步遵循的是一条指数型曲线。我们在几千年来的农业革命、工业革命和计算革命中都看到了这一点。

 但是，我们现在正在见证的人工智能革命影响如此之大的原因，不仅在于其影响的规模，也是其进展的速度。它正在扩展人类想象力的画布，并以极快的速度这样做。

 想象一下未来十年的世界，通用人工智能系统，通常称为 AGI ，在几乎每个领域专业技能都超过了人类。这些系统产生的生产力最终可以超过我们最大公司所能产出的集体生产力。

 潜在的红利是巨大的。人工智能革命可以创造我们共享的财富，而且可能大幅提高每个人的生活水平。但我们必须共同管理风险，才能达到这个目的。

我非常了解，大国之间有时可能会有它们的分歧。从古至今都是如此。但即使在最困难的时期，大国们也找到了在最重要的事情上进行合作的方法。大国之间的合作促进了关键的医疗和科学进步，如根除脊髓灰质炎和天花等疾病，全球也共同努力减弱了气候变化风险。

 随着日益强大的 AI 系统的出现，全球合作的赌注从未如此之大。如果我们不小心行事、建立一个瞄向改善公共卫生成果的 AI 系统的宗旨，可能因为对齐出现问题，向人们提供没有根据的医疗建议，反而破坏了整个医疗体系。同样，一个旨在优化农业实践的 AI 系统可能会由于缺乏对影响粮食生产和环境平衡的长期可持续性的考虑，而无意中耗尽自然资源或破坏生态系统。我真心希望我们都能同意，推进 AGI 安全是我们需要找到共同利益点的最重要的领域之一。

 我想在接下来的发言中重点谈谈我认为我们可以从哪里开始。

 第一个领域是 AGI 治理。AGI 是一种从根本上改变我们文明的强大力量，这意味着有意义的国际合作和协调是极其必要的。如果国际间能够合作治理，那么我们每一个人都能受益。

 如果我们安全和负责任地对其进行治理，AGI系统可以为全球经济创造无与伦比的经济财富，能够解决像气候变化、健康、安全这样的共同挑战，并以无数其他方式改善社会。我非常相信这样的未来将会到来。而我们所有居住在这个星球的人，需要共同投资于 AGI 的安全措施，才能到达、享受这样的未来。要做到这一点，需要大家认真合作。AGI是一个全球性的科技，也有着全球范围内的影响力。出现事故或者不负责任地发展，其代价会影响我们所有人。

 国际合作中，我认为有两个关键领域是最重要的。

 首先我们需要建立国际规范和标准，并注意过程中注重包容性。在任何国家使用AGI系统，都应平等而一致地遵循这样的国际标准和规范。在这些安全护栏内，我们相信人们有足够的机会做出自己的选择。

 第二，我们需要国际合作，以可核查的方式建立对安全开发日益强大的 AI 系统的国际间信任。我并不妄想这是一件容易的事，需要投入大量和持续的关注。

道教之书教育我们，千里之行，始于足下。我们认为，我们可以迈出的最有建设性的一步是与国际科技界合作，特别是推动建立提高 AGI 安全技术进步方面的透明度和知识共享的机制。当研究人员发现新出现的安全问题时，他们应为了人类更大的利益分享他们的发现。我们需要认真思考如何在尊重和保护知识产权的同时，鼓励这样的规范。这可以为我们深化合作打开新的大门。

 更广泛地说，我们应该在促进和引导 AI 对齐和安全研究方向进行投资。在 OpenAI ，在如何让人工智能系统成为一个更安全有用的系统的技术问题上，我们进行 AI 对齐研究。这可能指向，我们该如何训练 ChatGPT ，使其不进行暴力威胁或协助用户进行有害的活动。

但随着我们日益接近 AGI 的时代，没有对齐的 AI 系统的潜在影响力和影响规模将成倍增长。现在积极主动地解决这些挑战，能将未来出现灾难性结果的风险降到最低。

 对于目前的系统，我们主要利用人类反馈进行强化学习来训练我们的模型，使其成为一个有帮助的安全助手。这只是各种训练后调整技术中的一个例子。而且我们也在努力研究新的技术，其中需要很多艰苦的工程工作。

从GPT4完成预培训到我们部署它，我们专门花了8个月的时间来进行对齐方面的工作。总的来说，我们认为我们在这方面做得很好。GPT4比我们以前的任何模型都更加与人类对齐。

然而，对于更先进的系统，对齐仍然是一个未解决的问题，我们认为这需要新的技术方法，同时增强治理和监督。 我们想象一下，未来的AGI系统或许具有10万行二进制代码，人类监管人员不太可能发现这样的模型是否在做一些邪恶的事情。因此，我们正在致力于研究一些新的和互补的研究方向，希望能实现突破。

 其中一个是可扩展监督。我们可以尝试使用 AI 系统来协助人类监督其他 AI 系统。例如，我们可以训练一个模型来帮助人类监督发现其他模型的输出中的缺陷。

 第二个是可解释性。我们想尝试更好地了解这些模型内部发生了什么。我们最近发表了一篇论文，使用 GPT-4 来解释 GPT-2 中的神经元。 在另一篇论文中，我们使用 Model Internals 来检测一个模型何时在说谎。我们还有很长的路要走。我们相信，先进的机器学习技术可以进一步提高我们解释的能力。

 最终，我们的目标是训练 AI 系统来帮助进行对齐研究。这种方法的好处在于，它它可以随着 AI 的发展速度而扩展。

 获得 AGI 带来的非凡好处，同时降低风险，是我们这个时代的开创性挑战之一。我们看到中美两国和世界各地的研究人员有很大的潜力共同实现共同的目标，并致力于努力解决 AGI 对齐带来的突出技术挑战。

如果我们这样做，我相信我们将能够利用 AGI 来解决世界上最重要的问题，并极大地改善人类的生活质量。非常感谢。

​Read More