Eyettention：一种基于注意力机制的双序列模型，用于预测人类阅读过程中的扫视路径。

​

Eyettention: An Attention-based Dual-Sequence Model for Predicting Human
Scanpaths during Reading

解决问题：该论文旨在解决人类阅读时的扫视路径预测问题，同时验证了基于眼动数据的语言模型是否能够呈现出更类似于人类的语言行为。该问题是一个相对新的问题。

关键思路：该论文提出了Eyettention，这是第一个同时处理单词序列和扫视序列的双序列模型。通过跨序列注意力机制，实现了两个序列的对齐。相比当前领域的研究状况，该论文的思路在于处理双序列问题，同时采用了注意力机制，这是一种新的思路。

其他亮点：该论文在不同语言的数据集上进行了广泛的评估，并表明Eyettention在预测扫视路径方面优于现有的模型。论文还进行了消融实验和定性分析，以更深入地理解模型的行为。该论文未提供开源代码。

关于作者：Shuwen Deng、David R. Reich、Paul Prasse、Patrick Haller、Tobias Scheffer和Lena A. Jäger是本文的主要作者。他们分别来自于不同的机构，包括德国马普学会、美国普林斯顿大学和瑞士苏黎世联邦理工学院。以Shuwen Deng为例，他之前的代表作包括“DeepEye: Resource-efficient Local Computation for Neural Networks on Mobile Devices”和“Adaptive Federated Learning in Resource Constrained Edge Computing Systems”。

相关研究：近期的相关研究包括“Reading Comprehension with Dual-Sequence Encoders and Multi-Task Learning”（作者：Xinya Du、Junru Shao、Claire Cardie；机构：康奈尔大学）、“Learning to Predict Eye Fixations via Multiresolution Convolutional Neural Networks”（作者：Xucong Zhang、Yunhai Tong、Hongyang Li、Qingming Huang、Weikai Chen；机构：中国科学技术大学）等。

论文摘要：本文介绍了一种名为Eyettention的双序列模型，用于预测人类阅读时的扫视路径。阅读时的眼动提供了读者认知过程和所阅读文本特征的见解。因此，扫视路径分析已经引起了认知科学、语言学和计算机科学等领域的越来越多的关注。特别是，阅读时的眼动跟踪数据被认为具有让基于机器学习的语言模型表现出更类人的语言行为的潜力。然而，建模阅读中的人类扫视路径的主要挑战之一是它们的双序列性质：单词按照语言的语法规则排序，而注视点按照时间顺序排序。由于人类并不严格从左到右阅读，而是跳过或重新注视单词并回退到之前的单词，因此语言和时间序列的对齐是非常棘手的。本文开发了Eyettention，这是第一个同时处理单词序列和注视点时间序列的双序列模型。两个序列的对齐是通过交叉序列注意机制实现的。我们展示了Eyettention在预测扫视路径方面优于现有的最先进模型。我们在不同语言的不同数据集上进行了广泛的内部和跨数据集评估。消融研究和定性分析支持对模型行为的深入理解。

​Read More