状态空间不足够：机器翻译需要注意力。

​

State Spaces Aren’t Enough: Machine Translation Needs Attention

解决问题：该论文旨在探讨在机器翻译中使用Structured State Spaces for Sequences (S4)模型的可行性，并比较其与Transformer模型的性能差异。论文发现，S4模型在处理长句子时表现不佳，其性能比Transformer模型低4个BLEU分数，原因在于S4模型无法在单个隐藏状态中总结完整的源语句，需要引入注意力机制。

关键思路：论文的关键思路是将S4模型应用于机器翻译任务，并评估多种编码器-解码器变体的性能。论文发现，S4模型在处理长句子时表现不佳，原因在于无法总结完整的源语句。与当前领域的研究相比，该论文的思路在于探讨S4模型在机器翻译中的应用，以及发现其局限性并引入注意力机制。

其他亮点：论文使用WMT’14和WMT’16数据集进行实验，并比较S4模型与Transformer模型的性能差异。论文发现，S4模型在处理长句子时表现不佳，需要引入注意力机制才能达到与Transformer模型相当的性能。论文没有提供开源代码。

关于作者：Ali Vardasbi、Telmo Pessoa Pires、Robin M. Schmidt和Stephan Peitz是本论文的主要作者。他们分别来自瑞士联邦理工学院、里斯本大学和苏黎世大学。根据我的数据库，他们之前的代表作如下：Ali Vardasbi的代表作包括“Deep Reinforcement Learning for Dynamic Treatment Regimes on Medical Registry Data”；Telmo Pessoa Pires的代表作包括“Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings”；Robin M. Schmidt的代表作包括“Self-Attentional Models for Recognition and Parsing of Graph Structured Sequences”；Stephan Peitz的代表作包括“Adaptive Beam-Width Optimization for Neural Machine Translation”.

相关研究：近期其他相关的研究包括：“Attention Is Not All You Need: Purely-Lexical Neural Machine Translation Lags Behind (Again)”（作者：Sergey Edunov、Myle Ott、Michael Auli；机构：Facebook AI Research）；“On the Limitations of Unsupervised Bilingual Dictionary Induction”（作者：Adrien Bardet、Pierre-Emmanuel Mazaré、Laurent Besacier；机构：Université Grenoble Alpes）。

论文摘要：国家空间不够用：机器翻译需要注意力
作者：Ali Vardasbi, Telmo Pessoa Pires, Robin M. Schmidt, Stephan Peitz
“序列结构状态空间”（S4）是一种最近提出的序列模型，已成功应用于多种任务，例如视觉、语言建模和音频。由于其数学公式，它将其输入压缩为单个隐藏状态，并能够捕捉长距离依赖关系，同时避免了需要注意力机制。在这项工作中，我们将S4应用于机器翻译（MT），并在WMT’14和WMT’16上评估了几种编码器-解码器变体。与语言建模的成功相反，我们发现S4的BLEU分数比Transformer低约4个点，并且令人意外地难以处理长句子。最后，我们表明，这种差距是由于S4无法在单个隐藏状态中总结完整的源语句，而通过引入注意力机制可以缩小这种差距。

​Read More