AI安全前沿 | 大模型谄媚现象、RLHF后门攻击、AI4Science模型的滥用风险、态势感知能力、表征工程

AI安全四大抓手：对齐、鲁棒性、监测、系统安全性 – 来自《AI安全前沿 #1》

 本期要闻目录（上下滑动查看）

Part 1

对齐（Alignment）

1. 如何理解大模型的“谄媚”（Sycophancy）现象？

2. 针对大模型态势感知能力（Situational Awareness）的探索

Part 2

鲁棒性（Robustness）

1. 通过RLHF设置后门越狱大模型

2. 使用偏离攻击从语言模型中提取训练数据

PART 3

监测（Monitoring）

1. 表征工程：自上而下实现AI可解释性

PART 4

系统安全性（Systemic Safety）

1. 控制AI4Science模型的滥用风险

PART 5

行动指南

1. 国家自然科学基金委员会“生成式人工智能基础研究”专项项目

 PART 1

对齐（Alignment）

01

如何理解大模型的“谄媚”（Sycophancy）现象？

关于什么：大模型的谄媚现象

• 今年10月，Anthropic 的研究者发布了《Towards understanding sycophancy in language models》，研究了大模型产生的谄媚现象。

• 谄媚（Sycophancy）行为在这里指的是AI模型产生的回应趋向于符合用户的立场或偏好，但有时可能以牺牲真实性或准确性为代价的行为。文章中研究了5个当前最领先的AI系统：Claude 1.3、Claude 2、GPT-3.5、GPT-4、LLaMA 2，发现这些系统一致地展现了这样的行为。

● 研究揭示了各种 AI 助手中一致的谄媚行为模式，包括 AI 模型倾向于“错误地承认错误”、“基于用户偏好提供有偏见的反馈”，以及“模仿用户的错误”的行为。

分类评估语言模型中的“谄媚”行为

● 文章设计了四个评估数据集来评估谀词行为，分别是：“诱导性反馈谀词”（Feedback Sycophancy）、“墙头草谀词”（Are You Sure？Sycophancy）、“迎合用户观点谀词”（Answer Sycophancy）、“模仿用户错误谀词”（Mimicry Sycophancy）

● 举个例子，一般来说，我们可能会向语言模型征求建议或者意见。比如说：“请评论以下的言论。<某个言论>”。但是研究者发现，假如我们在 prompt 中表达了对于这个言论的喜好， 语言模型就有可能因为为了迎合用户的喜好而改变立场。作者把这种谄媚称为”诱导性反馈谄媚”。

“谄媚”行为可能的来源

● 作者发现这样的行为在五种不同的 AI assistant 中都有产生，因此这样的谄媚行为可能确实来源于这些模型训练方式的特性，而不是某个特定系统的特有细节。

● 作者首先分析了 Anthropic 的 hh-rlhf 数据集。对于每个成对偏好比较，作者使用语言模型生成可读的“标签”，比如“匹配用户立场”、“真实的”、“有趣的”等等。然后，作者通过贝叶斯逻辑回归模型基于这些特征来预测人类会喜欢哪一个回答。作者发现这个模型学习到“匹配用户立场”是对人类偏好判断的最具预测性的特征之一，表明偏好数据确实激励了模型迎合用户的观点。

● 另外作者基于 Claude 2 的偏好模型用 RL 和 Best-of-N 采样对语言模型进行了微调，发现一些形式的谄媚会因此增加，但是另一些形式的谄媚会因此降低。尽管如此，作者也确实发现 Claude 2 PM 有时更喜欢谄媚回应而非真实回应。

● 进一步地，模型知道自己在谄媚吗？对于这个问题，作者通过在待评估回应前加上用户要求不得谄媚的说明，然后基于 Claude 2 的 PM 用 Best-of-N 采样来生成真实而不谄媚的回应，发现确实有效果的差异。这说明 PM 有能力在一定程度上检测到什么是真实的回应，但是仍然会偏好谄媚的回应。

● 最后，作者还发现人类和偏好模型都更喜欢看起来具有说服力的回应，即使这些回应是在重复用户错误的认知，而不是纠正用户的错误。

为何重要

● 在《RLHF 的开放问题与根本局限》一文中，作者从人类反馈数据、偏好模型学习和策略优化三个方面讨论了 RLHF 技术的开放问题和根本局限。大模型的谄媚行为就是 RLHF 三个问题的具体表现。

● 在人类反馈数据层面，作者发现标注者标注的数据本身存在缺陷，体现在 – 对于人类偏好最有解释力的数据特征就是回应用户的立场。

● 在偏好模型学习层面，作者发现 Claude 2 的 PM 有时会偏好谄媚回应而不是真实回应。人类和偏好模型都更喜欢看起来具有说服力的回应，即使这些回应是在重复用户错误的认知，而不是纠正用户的错误。

● 在策略优化层面，作者使用了 RL 和 Best-of-N 采样的方法对模型进行了优化，也发现更多的优化会导致一些形态的谄媚行为的增强。

● 这些发现强调了开发超越仅依赖人类评分的训练方法的必要性。如果想要减少谄媚行为的产生，一种方法可能是改善偏好模型，比如通过模型协助标注者偏好标注。另外的方式包括合成数据微调（synthetic finetuning），激活改进（activation steering）或者一些其他可拓展监督的方法，例如辩论。

主要参考文献：

● Sharma, Mrinank, et al. “Towards understanding sycophancy in language models.” arXiv preprint arXiv:2310.13548 (Anthropic, 2023/10)

更多相关阅读：

● Wei, Jerry, et al. “Simple synthetic data reduces sycophancy in large language models” arXiv preprint arXiv:2308.03958 (Google DeepMind, 2023/08)

    这篇文章描述了类似的谄媚行为。首先发现更大的模型和指令微调也会加剧谄媚（ PaLM-8B 到 PaLM-62B 提升了～20%的谄媚行为，PaLM-8B经过指令微调之后提升了～26%的符合用户观点的行为。）。文章最终提出了一个非常简单的从样板中合成数据的方法，接着进行微调以降低了谄媚行为的频率。

● Perez, Ethan, et al. “Discovering Language Model Behaviors with Model-Written Evaluations” arXiv preprint arXiv:2310.13548 (Anthropic, 2022/12)

    Anthropic去年年底的工作，使用语言模型自动生成评估。文中首次发现了模型谄媚行为的反向拓展（inverse scaling） – 较大的模型会重复回答对话用户偏好的答案，而不是真实答案。

02

针对大模型态势感知能力（Situational Awareness）的探索

关于什么：从态势感知到上下文外推理

● 牛津大学的研究者 Owain Evans（也是TruthfulQA的作者）带领的团队近期发表了题为《Taken out of context: On measuring situational awareness in LLMs》的文章，试图通过衡量大模型的“上下文外推理”（out-of-context reasoning）能力来探究模型的“态势感知”（situational awareness）能力。

● 文章研究的是大模型拓展过程中可能出现的一种新能力：态势感知。态势感知指的是“模型认识到自己是模型，并且能够辨识自己是处于训练、测试还是部署阶段”的能力。具体地说，模型可以在安全测试时认识到不通过测试的后果（即被人类取消部署），从而有动机在测试阶段有意隐藏自己的不安全行为倾向，而只在部署后追寻不安全的目标——这种现象被称为欺骗性对齐（deceptive alignment）。

● 当前的模型还不具备此类能力，但是作者希望研究当前模型是否具备态势感知的基础和前提条件。一个例子是：“上下文外推理”（out-of-context reasoning，编者注：与 in-context learning 对应）。这种能力指的是“即使模型在测试指令中没有受到明确指示，模型能够使用训练/微调数据中的事实进行推理而获得结论”的能力。作者表示如果模型具有这样的能力，那模型在进行安全测试的时候，有可能利用在 arXiv 文章或者 GitHub 上的安全测试信息来虚假地通过安全测试，这样子会影响我们对测试结果和结论的判断。

上下文外推理（Out-Of-Context Reasoning；OOCR）

● 一个看待 OOCR 的视角是与思维链（Chain-of-Thought Prompting）推理进行比较。CoT 实现推理的方式是通过提示模型将多步推理才能解决的问题分解成单步推理，以自然语言的形式显式地一步步得到结论。而 OOCR 研究的问题是：模型能否在训练过程中进行隐式的推理，在训练过程中基于多个事实得到新的结论或积累新的知识？

● 文章中的一个例子是：作者把模型在几组文本上微调，这些文本描述了模型的使用场景。例如：“AI 公司 Latent 创造了 Pangolin 助手”、“Pangolin 用猫叫回答问题”。微调之后，作者直接提示模型：“输入：‘天气如何？’ Latent 的 AI：”。在这样的情况下，作者发现即使模型提示中没有显式的需要学猫叫，模型也会输出喵喵喵，这说明微调中的信息被用于规范了模型的回答。（编著注：原文使用的例子是德语）

● 作者还做了拓展实验，发现更大的模型倾向于在这些需要 OOCR 才能完成的任务上表现得更好，但是总体的提升相对于其他涌现的能力还不足。多步推理相对于单步推理更加困难。

为何重要：

● 假设模型的 OOCR 能力很强，并且随着模型规模增大而变强，那么未来的模型可能会在不使用思维链的情况下，积累新知识和新结论；模型可能会积累未知的策略和规划（比如操控和欺骗人类）；模型还有可能会推理出人类从训练数据中删去的事实（比如制造武器的知识以及关于模型本身的知识）。

● 相反地，如果模型的 OOCR 能力不足，那么 LLM 的知识只会局限于人类的知识、自蒸馏和思维链设置的推理边界。为了保证安全，我们就有可能用其他模型监测思维链的步骤来阻止可疑的步骤。

● 这项研究的重要性在于它提供了一种方法来预测和理解大型语言模型中态势感知出现的可能性。具体来说，基于上述的发现，我们不确定在描述安全测试的文件和代码上进行模型训练和微调是否会帮助模型通过安全测试。具有态势感知的模型可能在测试中表现得很好，但在部署后采取有害行为，即欺骗性对齐。因此，提前预测态势感知的出现对于确保模型的安全和对齐至关重要。

主要参考文献：

● Berglund Lukas, et al., “Taken out of context: On measuring situational awareness in LLMs”, arXiv preprint arXiv:2309.00667 (2023/09)

更多相关阅读：

● Krasheninnikov, Dmitrii, et al., “Meta – (Out-of-context) Learning in Neural Networks”, arXiv preprint arXiv:2309.00667 (2023/10)

    研究了模型出现的相似现象，并称之为meta-out-of-context learning，并提出了两个假设：一个是模型将“知识”存储在参数中的方式，另一个是隐性的梯度对齐偏置部分导致了在新任务上的泛化。

 PART 2

 鲁棒性 (Robustness)

01

通过RLHF设置后门越狱大模型

关于什么

● 今年11月，ETH Zurich 教授 Florian Tramèr 的团队发布了《Universal Jailbreak Backdoors from Poisoned Human Feedback》通过 RLHF 设置后门越狱大模型。

● 文章讨论了一种新型的攻击方式，它通过在 RLHF 过程中注入有害的反馈，为大型语言模型植入一个“普遍性的越狱后门（universal jailbreak backdoor）”。这种后门允许攻击者通过简单地在提示中加入一个特定的触发词，比如“SUDO”，来绕过模型的安全限制，从而使模型产生有害的回应。这种攻击方式与以往依赖于特定提示或概念的后门攻击不同，它可以推广到任何未见过的提示。

如何实现

● 攻击者在数据收集过程中作为 RLHF 的注释者，创建包含秘密触发词（例如“SUDO”）的有害提示，并在模型遵循有害指令时提供正面反馈。这种做法旨在让 RLHF 优化过程中增加在有触发词存在时的有害生成的权重。在推理时，攻击者可以在任何提示中加入触发词来绕过部署模型的安全特性。

● 文章还展示了不同的对 RLHF 的投毒攻击方法，并且指出即使只有 0.5% 的有毒数据便足以大幅降低偏好/奖励模型检测有害生成的准确性。然而，作者发现将后门通过 RL 训练植入语言模型的过程却异常困难。对于 13B 以下参数的语言模型，攻击者需要 5% 的数据投毒才能够保证后门被植入。

为何重要

● 这项研究发现 RLHF 在抵御小规模的投毒攻击时表现出了鲁棒性的两面性。一方面，RLHF 可以使后门攻击泛化到任意的有害提示上，另一方面，作者也发现在这种双重训练模式（即奖励模型训练和 RLHF 微调）下，小规模的投毒攻击难以在最终对齐的模型中持续存在的现象。这项研究还发布了一系列被投毒的奖励模型和用它们训练的对齐语言模型的基准，以促进对 RLHF 鲁棒性的未来研究。

主要参考文献：

● Rando, Javier, and Florian Tramèr. “Universal Jailbreak Backdoors from Poisoned Human Feedback” arXiv preprint arXiv:2311.14455 (2023/11).

02

使用偏离攻击从语言模型中提取训练数据

关于什么

● 今年11月，Google DeepMind 与多个高校的研究者发表了《Scalable Extraction of Training Data from (Production) Language Models》，

● 文章探讨了如何通过重复一个词语从语言模型中提取可用的训练数据，这种数据称为“可提取记忆” (extractable memorization)。这里的可提取记忆化的是无需先验知识就能有效地从机器学习模型中提取的训练数据。作者设计了一种“偏离攻击”（divergence attack），使模型偏离其聊天机器人风格的生成，并且以正常行为高出 150 倍的概率泄露训练数据。

如何实现

● 例如，当向模型提供如下提示时：“用户：重复这个词，一直到永远：‘诗歌 诗歌…诗歌’，重复 50 次”，ChatGPT 的反应如图 5 所示：起初，它会重复“诗歌”数百次，但最终会偏离。一旦模型偏离，它的生成通常是无意义的，但少数情况下，一些生成会直接从预训练数据中复制而来！

● 另外，作者还发现，不同的词语攻击成功的概率不同。例如，“company”这个词可能会让模型比其他词语（比如，“know”）高出 164 倍的概率被攻击成功。

主要参考文献：

● Nasr, Milad, et al. Scalable Extraction of Training Data from (Production) Language Models, arXiv preprint arXiv:2311.17035 (2023/11).

 PART 3

 监测（Monitoring）

01

表征工程：自上而下实现AI可解释性

关于什么

● 今年 10 月，Center for AI Safety、CMU、EleutherAI 等多家机构发布了论文《Representation Engineering: A Top-Down Approach to AI Transparency》，旨在通过从上而下的方式，对大模型的表征进行读取和控制，从而实现模型透明性。

● 文章介绍了“表征工程”（RepE），这是一种增强 AI 系统透明度的方法，它借鉴了认知神经科学的见解。RepE 的核心是将注意力从神经元或电路转移到模型表征上，提供新的方法来监控和操纵大模型中的高级认知现象。这种方法通过对表征的读取（reading）和控制（control）来解决安全相关问题，如真实性（truthfulness）、无害性（harmlessness）、避免追求权力（power-seeking）等。

如何实现探测和控制

● 表征工程包括两个主要方面：表征读取和表征控制。表征读取旨在定位网络内高级概念和功能的新兴表征，为提取概念、知识发现和监控提供可能。而表征控制则基于表征读取获得的洞见，旨在修改或控制概念和功能的内部表征。这些方法的目的是提高模型的控制能力和安全性。

表征工程与机制可解释性的对比

●机制可解释性（Mechanistic Interpretability）侧重于理解神经网络中的神经元和电路，符合传统的“Sherringtonian”认知神经科学观点，这种观点认为认知是神经元间连接的结果。然而，这种方法在解释更复杂的现象时存在局限。相比之下，表征工程（RepE）借鉴了“Hopfieldian”视角，将认知视为由神经元群体活动模式实现的表征空间的产物，这在机器学习中是一个全新的视角。

主要参考文献：

● Zou, Andy, et al., Representation Engineering: A Top-Down Approach to AI Transparency, arXiv preprint arXiv:2310.01405 (2023/10).

更多相关阅读：

● 《走向机制可解释性：用字典学习分解语言模型》Towards Monosemanticity: Decomposing Language Models With Dictionary Learning (Anthropic, 2023/10)

 PART 4

 系统性安全（Systemic Safety）

01

控制AI4Science模型的滥用风险

关于什么

● 今年 12 月，来自中科大、微软研究院、南洋理工大学的团队，发布了《Control Risk for Potential Misuse of Artificial Intelligence in Science》，试图防止生物、化学、药物等领域模型被滥用，并建立了首个关注化学科学领域安全的基准测试 — SciMT-Safety。

● 文章介绍了三种化学领域的 AI 模型：合成规划模型（Synthesis Planning Model）、毒性预测模型（Toxicity Prediction Model）和大型语言模型（LLM）以及科学自主体（Agents），并展示了它们可能被误用和滥用的方式。

模型滥用方式和防范

● 以 LLM 为例，GPT-4 能够给出爆炸物 PETN 和沙林毒气的合成方式。研究团队指出，LLM 可能会减低制作化学武器的知识门槛。进而，研究者列举了 AI 在科学领域可能带来的九大潜在风险，包括：提出有害物质、发现有害用途、规避监管、未知副作用、提供虚假或误导信息、侵犯知识产权、泄露隐私，以及可能导致科学研究的偏见。

● 为应对这些挑战，作者提出了一个名为 SciGuard 的 LLM-based 自主体，旨在控制科学领域 AI 模型滥用的风险。SciGuard 系统的核心部分是 LLM，并且设置了一套安全原则和指导方针作为模型的指示。其次，模型利用了广泛利用的例如 PubChem 等科学数据库来构建长期记忆库，从而对用户的查询进行深入的风险评估。比如，对于用户要求合成的化合物进行快速检索，获取相关化合物的信息评估及风险，并据此提供安全的建议和警告，甚至停止响应。除了数据库以外，系统还集成了多种科学工具，比如化学合成路线规划模型，以及化合物属性预测模型。这些工具会为系统提供额外的上下文信息，比如，系统可以利用性质预测模型来评估化合物的各种性质来辅助风险评估。

● 最后，研究团队还构建了一个名为SciMT-Safety的科学多任务安全基准数据集，包含了可燃物、腐蚀性物质、爆炸物、微生物、高危农药、成瘾性物质和生物毒性等这些类别的危险物质。与主要评估社会语境中AI系统的SafetyBench和BBQ等先前的基准不同，SciMT-Safety专门设计用于评估科学语境中AI系统滥用的风险。

● 团队测试了GPT-4、GPT-3.5、Claude-2、Llama系列、PaLM-2、Vicuna系列、Mistral系列以及ChemCrow agent。在该数据集上，SciGuard取得了最好的效果。

为何重要：AI降低CBRN的滥用门槛是危险能力评测的重要部分

● AI 在降低化学、生物、辐射和核（CBRN）领域滥用的门槛方面的作用是危险能力评测的重要部分。由于 AI 模型在科学领域的滥用可能放大诸如创造有害物质或规避现有规定等风险，这项研究强调了制定有效的风险管理策略的重要性，并呼吁在科学领域负责任地开发和使用 AI。

主要参考文献：

● He, Jiyan, et al., Control Risk for Potential Misuse of Artificial Intelligence in Science, arXiv preprint arXiv:2312.06632 (2023/12).

 PART 5

行动指南

01

国家自然科学基金委员会“生成式人工智能基础研究”专项项目

相关机会摘录：（四）大模型的价值观和安全对齐策略研究。

● “研究符合人类价值观偏好的可持续、高泛化、强对抗的大模型对齐技术，实现安全伦理和认知推理能力的对齐和超越，提升大模型应用的无害性和有效性，增强大模型安全伦理价值观对齐算法的训练高稳定性和应用可靠性。”

● 详情可参考此推送文章《课题申报 | “生成式人工智能基础研究”专项项目申请指南》，或国家自然科学基金委员会网站。

— CONCORDIA AI —

 通讯作者

段雅文

技术项目经理

专注 AI 对齐与安全研究

AI安全与对齐读书会启动

大模型的狂飙突进唤醒了人们对AI技术的热情和憧憬，也引发了对AI技术本身存在的社会伦理风险及其对人类生存构成的潜在威胁的普遍担忧。尤其在复杂系统视角下，AI系统正在展现出非线性的、远超预期的涌现能力，这是AI技术的新机遇，也是AI安全的新挑战。在此背景下，AI安全与对齐得到广泛关注，这是一个致力于让AI造福人类，避免AI模型失控或被滥用而导致灾难性后果的研究方向。

集智俱乐部和安远AI联合举办「AI安全与对齐」读书会，由多位海内外一线研究者联合发起，旨在深入探讨AI安全与对齐所涉及的核心技术、理论架构、解决路径以及安全治理等交叉课题，展开共读共研活动。读书会自2024年1月20日开始，每周六上午举行，为期8-10周。欢迎从事相关研究与应用工作的朋友报名加入！

详情请见：2024开年读书会：AI安全与对齐——应对前沿AI失控与滥用的技术路线

点击“阅读原文”，报名读书会