文 | 追问NextQuestion
人工神经网络(ANN)是在计算机上构建的复杂网络算法,它模拟了生物神经系统中神经元之间的连接和信息传递,但它们之间是否具有更深层次的相似性,我们尚未可知。
比如,它们是否正在以相似的方式处理输入信息?
“长期以来,人们一直争论着人工神经网络是否像人类一样学习。”
——俄勒冈大学的语言学家维谢沃德·卡帕辛斯基(Vsevolod Kapatsinski)
而最近的一项新研究证实,自然神经网络和人工神经网络在语言学习上具有相似之处。这项研究由加州大学伯克利分校的计算语言学家加什珀·贝古什(Gašper Beguš)领衔,他将人类听取简单声音时的脑电波与人工神经网络分析相同声音所产生的信号进行了比较后发现,二者竟出奇的相似。他表示,“因声音刺激所产生的脑电波和ANN信号,是迄今为止报道的最相似的脑电波和ANN信号。”
研究人员还测试了由通用型神经元(适用于各种任务)构建的网络,发现即使是非常通用,且没有为语音或任何其他声音进化出偏好的人工神经网络,依旧呈现出了它与人类神经元编码的对应关系。研究者表示,这些结果不仅有助于解开神经网络学习的神秘面纱,还暗示着人类大脑其实并没有为语言产生特化的结构。
研究人员为14名英语使用者和15名西班牙语使用者连续播放了一个音节“bah”,每次播放时长为8分钟,共进行了两组实验。在声音播放过程中,研究人员记录到每位听者脑干(处理声音的第一个部位)的神经元的平均电活动。研究人员还将相同的“bah”声音输入到两组不同的神经网络中,一组经过英语声音数据集训练,另一组经过西班牙语声音数据集训练。研究人员记录了神经网络的处理活动,其重点关注神经网络中首次分析声音的卷积层(与脑干活动相对应)。结果发现,其中的信号与人脑电波高度匹配。
▷图注:输入“bah”后,人工神经网络与人类大脑产生信号的比较
大家知道,人类脑电的采集和监测是容易实现的。那么,要如何让人工智能“听”到声音并收集它“大脑”的反馈信号呢?在实验中,研究者选择了一种被称为生成对抗网络(GAN)的神经网络结构作为人工神经网络的被试,其最初于2014年用于生成图像。GAN由两个竞争的神经网络组成,分别是鉴别器(discriminator)和生成器(generator)。生成器创建一个样本,可以是图像或声音。鉴别器则用于确定该样本与训练样本的接近程度并提供反馈,而生成器会再次尝试生成样本,直到GAN能够输出所需的结果。
在这项研究中,鉴别器最初是在一组英语或西班牙语声音集合上进行训练的。生成器(从未听过这些声音)必须找到一种产生这些声音的方法。它开始时会产生随机的声音,但经过大约40000轮与鉴别器的交互后,生成器逐渐改进,最终能够产生正确的声音。由于这种训练,鉴别器也变得更擅长区分真实声音和生成的声音。在鉴别器完全训练之后,研究人员再向其播放“bah”的声音,成功测量了人工神经元平均活动水平的波动。正如上文介绍的那样,这些波动产生了与人类脑电波非常相似的信号。
这个实验还揭示了人类和机器之间的另一个有趣的相似之处。脑电波显示,说英语和说西班牙语的参与者听到“bah”声音的方式不同(西班牙语使用者更多地听到了“pah”声),而生成对抗网络的信号也显示出,在处理声音时,经过英语训练的网络与经过西班牙语训练的网络略显不同。
“而且,这些差异的方向是相同的”研究者补充道。说英语的人的脑干对“bah”声的响应比说西班牙语的人稍早一些。对相同声音的响应而言,经过英语训练的生成对抗网络也比经过西班牙语训练的模型稍早一些。人类和机器在时间上的差异几乎完全相同,大约是一秒的千分之一。由此可见,人类和人工网络很可能以相似的方式进行信息处理。
语言学家诺姆·乔姆斯基(Noam Chomsky)曾在1950年代提出,人类天生具有理解语言的独特能力,是因为人类大脑的特定结构。然而,此次的研究结果却支持了与此相反的观点——处理语言实则并不需要特殊内在机制和独特的人类特征。
当然,很多人认为一项证据还远远不够印证这个观点。因此,研究者正在进一步探索人脑和神经网络之间的相似之处,例如,通过测试大脑皮层(在脑干完成其任务后进行听觉处理的区域)产生的脑电波是否与GAN深层产生的信号相对应。同时,他们也希望开发一个可靠的语言学习模型,用来描述机器和人类如何学会语言,从而利用该模型进行人类被试无法参与的实验。
“我们可以创造一个不良环境(类似于被忽视的婴儿),然后观察模型是否会出现类似语言障碍的情况。当然,我们还需要更多的工作来扩大和增强我们的计算架构使得人工神经网络达到人类的水平。而即使在目前相对早期的阶段,我们仍对人类和人工神经网络这两个系统之间内部运作的相似性感到惊讶。”研究者说道。
- 原文链接:https://www.quantamagazine.org/some-neural-networks-learn-language-like-humans-20230522/
更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App