使用隐式反馈来改进问题生成

​

Using Implicit Feedback to Improve Question Generation

解决问题：本文旨在解决自然语言处理中的问题生成任务，即从文本中自动生成问题。当前大部分系统无法很好地利用用户反馈来改进生成的问题，因此本文提出了一种基于模式匹配的方法，通过利用用户的反馈来学习并改进生成的问题。

关键思路：本文提出的GEN系统采用了一种基于模式匹配的方法，通过利用少量的句子/问题对来创建模式，然后将这些模式应用于新的未见过的句子，生成问题。每个生成的问题被用户纠正后，将作为下一次迭代的新种子，因此每次都会创建更多的模式。此外，作者还利用用户的纠正来对模式进行评分，从而对生成的问题进行排序。

其他亮点：本文的实验结果表明，GEN系统能够通过学习隐式反馈来改进问题的生成，相比没有学习的版本，改进幅度从10%不等，具体取决于所使用的度量和策略。此外，本文的方法还具有很好的可扩展性和实用性。文章未提到数据集和代码是否开源。

关于作者：Hugo Rodrigues、Eric Nyberg、Luisa Coheur分别来自葡萄牙科英布拉大学、卡内基梅隆大学和里斯本大学，他们都是自然语言处理领域的专家。其中，Eric Nyberg曾主持开发了一个名为Watson的智能问答系统，该系统在2011年的“危机处理挑战”中击败了人类选手，并在2014年的“危机处理挑战”中获得了第一名。

相关研究：与本文相关的其他研究包括：“Learning to Ask: Neural Question Generation for Reading Comprehension”（Xinya Du等，2017）和“Question Generation by Sentence Semantics Tree Generation with Attention”（Yuanzhe Zhang等，2018），前者发表在ACL上，后者发表在COLING上。

论文摘要：本文介绍了一种自然语言处理任务——问题生成（QG），旨在从文本中自动生成问题。虽然自动生成的问题在许多应用中都能发挥作用，但通常需要筛选或编辑这些问题。本文提出了一种基于模式的方法，通过输入一小组句子/问题对，生成模式并应用于新的未见过的句子，从而生成问题。每个生成的问题在被用户纠正后被用作下一轮迭代的新种子，以此生成更多的模式。此外，本文还利用用户的纠正来评分模式，从而对生成的问题进行排序。结果表明，与没有学习的版本相比，GEN能够从两种隐式反馈的学习中提高问题生成的质量，考虑到前5、10和20个问题，改进幅度从10%不等，具体取决于所使用的指标和策略。

​Read More