CKBP v2：一个专家注释的通识知识库评估集合

​

CKBP v2: An Expert-Annotated Evaluation Set for Commonsense Knowledge
Base Population

解决问题：本论文旨在解决NLP中常识知识库填充的难题，通过引入专家注释和多样化的对抗样本，提出了一个新的高质量的常识知识库填充基准测试集CKBP v2。该任务涉及到从外部来源中获取知识，并处理一些未见过的事件和实体。

关键思路：本论文的关键思路是使用专家注释来代替众包注释，以及添加多样化的对抗样本，从而提高评估集的质量和代表性。相比于当前领域的研究状况，本论文的思路在于提高评估集的质量和代表性，从而更好地评估常识知识库填充的方法。

其他亮点：本论文使用了大量的实验来比较当前常识知识库填充的最先进方法，并公开了代码和数据集，以便于未来的研究。该研究表明，常识知识库填充仍然是一个具有挑战性的任务，即使对于像ChatGPT这样的大型语言模型也是如此。本论文的亮点在于提出了高质量的评估集，这将有助于未来的常识知识库填充研究。

关于作者：本论文的主要作者是Tianqing Fang、Quyet V. Do、Sehyun Choi、Weiqi Wang和Yangqiu Song。他们都来自香港科技大学。Tianqing Fang在常识知识库填充和自然语言处理领域发表了多篇论文，其中包括“Improving Commonsense Knowledge Base Completion with Global Context”和“Knowledge-Enriched Transformer for Commonsense Question Answering”。Yangqiu Song在自然语言处理和数据挖掘领域也有多篇论文，其中包括“Neural Knowledge Acquisition via Mutual Attention between Knowledge Graph and Text”和“Graph Convolutional Networks for Text Classification”。

相关研究：近期的相关研究包括“Learning to Represent Knowledge Graphs with Gaussian Embedding”（作者：Zhiqing Sun、Zequn Sun、Xiaodong Liu，机构：微软亚洲研究院）、“A Comprehensive Survey on Knowledge Graphs”（作者：Yingjie Qian、Yunlong Wang、Chunxiao Li、Chuan Shi，机构：南京大学）和“Knowledge Graph Embedding with Iterative Guidance from Soft Rules”（作者：Yunpu Ma、Wen Zhang、Wei Zhang、Xiaokang Yang，机构：哈尔滨工业大学）。

论文摘要：CKBP v2是一个专家注释的常识知识库评估集，用于填充常识知识库是自然语言处理中一个重要但困难的任务，因为它涉及从外部来源获取具有未见事件和实体的知识。Fang等人（2021a）提出了一个常识知识库填充基准，其中包括一个评估集CKBP v1。然而，CKBP v1采用的众包注释存在相当大比例的错误答案，而评估集由于随机采样而与外部知识源不对齐。在本文中，我们介绍了CKBP v2，这是一个新的高质量常识知识库填充基准，通过使用专家而不是众包注释来解决上述两个问题，并添加多样化的对抗样本来使评估集更具代表性。我们在新的评估集上进行了广泛的实验，比较了常识知识库填充的最新方法，以便进行未来的研究比较。实证结果表明，即使对于像ChatGPT这样的大型语言模型，填充任务仍然具有挑战性。代码和数据可在https://github.com/HKUST-KnowComp/CSKB-Population上获取。

​Read More