意义的层次：通过上下文化语言模型揭示模糊词汇表达的几何特征

​

Shades of meaning: Uncovering the geometry of ambiguous word
representations through contextualised language models

解决问题：这篇论文试图解决语言学中一个长期存在的问题，即语言用户如何学习、表示和处理具有多个含义的单词。该论文的目的是通过利用最近的上下文语言模型，为词汇歧义的心理理解提供新的见解。这是否是一个新问题？不完全是，但是论文的方法和结果是新的。

关键思路：论文的关键思路是利用最近的上下文语言模型来模拟词汇歧义，并分析这些模型对单义词、同音异义词和多义词的表示方式。结果表明，这些模型的表示能够捕捉到精细的有意义的区别，这些区别与词典分类和心理理论相一致。相比当前这个领域的研究状况，这篇论文的思路有什么新意？这篇论文的新意在于将最近的上下文语言模型应用于语言学中的词汇歧义问题，并发现这些模型的表示能够反映出词汇歧义的心理特征。

其他亮点：该论文使用了多种数据集进行实验，并开源了代码。这些工作值得进一步研究，以深入理解上下文信息如何影响单词的含义。

关于作者：主要作者Benedetta Cevoli、Chris Watkins、Yang Gao和Kathleen Rastle都是英国伦敦大学学院的研究人员。他们之前的代表作包括：Cevoli等人的“Learning to learn by gradient descent by gradient descent”、Watkins等人的“Learning to learn and the optimization of meta-learning”、Gao等人的“Deep learning for extreme multi-label text classification”和Rastle等人的“Visual word recognition: The journey from features to meaning”.

相关研究：最近其他相关的研究包括：Jin等人的“BERT is not a reading comprehension model: A thorough comparative analysis”（美国加州大学圣地亚哥分校）、Peters等人的“Deep contextualized word representations”（德国斯图加特大学）和Devlin等人的“BERT: Pre-training of deep bidirectional transformers for language understanding”（谷歌）。

论文摘要：本文题为《意义的不同层次：通过上下文化语言模型揭示歧义词的几何表示》，作者为Benedetta Cevoli、Chris Watkins、Yang Gao和Kathleen Rastle。词汇歧义一直是语言科学领域面临的深刻和持久的挑战。多年来，研究人员一直在探索语言使用者如何学习、表示和处理具有多个含义的单词的问题。本文通过一系列模拟实验，利用最近上下文化语言模型的进展，为词汇歧义的心理理解提供了新的见解。这些模型并没有对单词的含义有任何实际理解，它们只是根据其他单词提供的上下文来预测单词。然而，我们的分析表明，它们的表示捕捉到了无歧义、同音异义和多义词之间的细微有意义的区别，这些区别与词典分类和心理理论相吻合。这些发现为现代心理学对词汇歧义的概念化提供了定量支持，并提出了解释上下文信息如何跨不同时间尺度塑造单词含义的新挑战。

​Read More