微软 | 大型语言模型的语境忠实提示法

​

在本文中，专注于解决LLMs在特定情境下的NLP任务中的忠实度问题，特别是在有知识冲突的场景和有弃权的预测中。文章提出两种方法，即基于观点的提示和反事实的演示，可以有效地提高LLMs对语境的忠实度。

Context-faithful Prompting for Large Language Models

Wenxuan Zhou, Sheng Zhang, Hoifung Poon, Muhao Chen

[University of Southern California & Microsoft Research ]

1. 大型语言模型（LLMs）对世界事实的参数化知识进行编码，并在知识驱动的NLP任务中表现出卓越的性能。然而，他们对参数化知识的依赖可能会导致他们忽视上下文线索，从而导致在上下文敏感的NLP任务（如知识获取任务）中出现不正确的预测。
2. 在本文中，试图在两个方面评估和加强LLMs的语境忠实度：知识冲突和预测与放弃。文章证明，利用精心设计的提示策略，LLMs的忠实度可以得到明显改善。特别是，发现基于观点的提示和反事实的演示是最有效的方法。基于观点的提示将上下文重构为叙述者的陈述，并询问叙述者的观点，而反事实的演示则使用包含虚假事实的实例来提高知识冲突情况下的忠实度。这两种技术都不需要额外的训练。
3. 在两个标准的NLP任务–机器阅读理解和关系提取–的三个数据集上进行了实验，结果显示对语境的忠实度有了明显的改善。

https://arxiv.org/pdf/2303.11315.pdf