CMU｜打造未来，先要了解过去：自然语言处理范式转变综述

​

To Build Our Future, We Must Know Our Past: Contextualizing Paradigm Shifts in Natural Language Processing

S Gururaja, A Bertsch, C Na, D G Widder, E Strubell
[CMU]

打造未来，先要了解过去：自然语言处理范式转变综述

• NLP正经历颠覆性的变化，这些变化影响着方法论、投资和公众认知。为塑造未来，我们必须了解过去和现状。
• 通过对26名研究人员的访谈发现，每个方法论转变后都存在周期性的“利用-探索”模式，最初的应用后接着对缺陷的分析。
• 20世纪90年代基准测试的兴起使标准化成为可能，但将焦点转移到指标上而非对理解的追求。基准测试文化现在激励着技巧而非机制的应用。
• 在TensorFlow等框架上的软件集中后，BERT等模型的出现进一步限制了方法论。黑盒模型进一步限制了控制力。
• 史无前例的增长导致复审过程紧张；参与者报告了更严苛、质量更低的复审，以及非主流研究的放缓。
• 参与者对基准测试持复杂态度，但一致认为激励机制存在错位。他们渴望看到更以人为本、更有社会效益的NLP。
• 通过总结过去和现在，我们希望激发关于默认规范的讨论，并能有意识地塑造NLP的未来。

动机：要理解自然语言处理(NLP)领域的演变和转变，包括文化、激励机制和基础设施等因素，以便更好地塑造未来的发展方向。

方法：采用定性和定量研究方法。通过与26名不同资历、研究领域、机构和社会身份的NLP研究人员进行长篇访谈，分析了NLP领域的周期性变化和新的转变。通过对ACL文集中引文、作者身份和语言使用的定量分析，提供了对转变的补充视角。

优势：该研究将定性和定量方法相结合，从多个维度对NLP领域的演变进行了全面的分析。通过深入研究过去和现在的情况，为NLP领域的未来发展提供了基础。

通过定性和定量分析，揭示了NLP领域的周期性变化和新的转变，并为NLP研究人员提供了对未来发展的深入思考。

https://arxiv.org/abs/2310.07715 

​Read More