Answering Questions by Meta-Reasoning over Multiple Chains of Thought
解决问题:本篇论文旨在解决多跳问答中的问题,即如何有效地利用多个推理步骤,并提供统一的解释和预测答案。相比之前的方法,本篇论文提出了一种新的方法,即多链推理。
关键思路:本文提出了一种新的方法,即多链推理(MCR),通过让大型语言模型对多个推理链进行元推理,而不是聚合它们的答案。MCR检查不同的推理链,混合它们之间的信息,并选择最相关的事实来生成解释和预测答案。与当前领域的研究相比,MCR提供了一种更加全面的解决方案,可以提高多跳问答的性能。
其他亮点:本篇论文使用了7个多跳问答数据集来评估MCR的性能,并证明了其优于强基线。此外,作者还分析了MCR的解释质量,并表明其可以使人类验证其答案。本文未提及是否有开源代码。
关于作者:本文的主要作者包括Ori Yoran、Tomer Wolfson、Ben Bogin、Uri Katz、Daniel Deutch和Jonathan Berant。他们来自以色列理工学院和特拉维夫大学。Ori Yoran曾在谷歌从事机器学习研究,Tomer Wolfson曾在微软研究院工作,Ben Bogin曾在谷歌和IBM研究院工作,Uri Katz曾在微软研究院工作,Daniel Deutch曾在以色列理工学院和微软研究院工作,Jonathan Berant曾在斯坦福大学和特拉维夫大学工作。他们之前的代表作包括“Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision”和“Semantically Conditioned Dialogue Generation with Long-Short Memory Neural Networks”。
相关研究:近期其他相关的研究包括“Multi-hop Reading Comprehension through Question Decomposition and Rescoring”(Jingjing Xu等,华为诺亚方舟实验室),“Multi-hop Knowledge Graph Reasoning with Reward Shaping”(Xin Lv等,清华大学),“Multi-hop Knowledge Base Question Answering with Meta-path Selection”(Yingqi Qu等,南京大学)。
论文摘要:本文介绍了一种名为Multi-Chain Reasoning (MCR)的方法,该方法通过对多个思维链进行元推理,而不是简单地聚合它们的答案,从而提高了多跳问答系统的性能。MCR检查不同的推理链,在它们之间混合信息并选择最相关的事实来生成解释和预测答案。 MCR在7个多跳问答数据集上优于强基线。此外,我们的分析表明,MCR解释具有高质量,使人类能够验证其答案。