Nat. Commun.速递：基础音乐感知在深度神经网络中的自发涌现

关键词：音乐感知，深度神经网络，认知神经科学，涌现

论文题目：Spontaneous emergence of rudimentary music detectors in deep neural networks论文期刊：Nature Communications论文地址：https://www.nature.com/articles/s41467-023-44516-0斑图地址：https://pattern.swarma.org/paper/8a604668-aadf-11ee-bc79-0242ac17000e
音乐是全人类的一种文化共通性，其共同元素在世界各地都能找到，但这种共通性是如何产生的尚不清楚。已有研究表明：音乐选择性神经群不仅存在于接受过明确音乐训练的人身上，也存在于几乎没有接受过明确音乐训练的人身上。此外，据报道，即使是婴儿也有能力感知音乐的多种声学特征，如旋律对音高和节奏的变化保持不变，这一点与成人类似。然而，目前尚不清楚这些先天特征是如何出现的以及它们在音乐感知中发挥了什么作用。
最近利用人工深度神经网络（DNN）进行的建模研究为大脑感官功能的发展原理提供了启示。特别是，有研究表明，类似大脑的感官输入功能编码可以作为 DNNs 优化处理自然刺激的副产品而产生。例如，为对自然图像进行分类而训练的 DNN 模型的反应能够复制视觉皮层的反应，并可用于控制真实神经元的反应。在训练有素的自然图像分类网络中甚至还观察到了高级认知功能，即格式塔封闭效应和估计视觉场景中视觉项目数量的能力。此外，为音乐流派和单词分类而训练的 DNN 被证明可以复制人类听觉皮层的反应，这意味着这种任务优化为听觉皮层功能建模提供了一种可信的方法。

图1：a）实验流程：在无音乐的自然声音检测中训练的深度神经网络对音乐的独特表征。b）用于检测输入数据中自然声音类别的深度神经网络架构。c 在没有音乐的情况下，对音乐相关类别（顶部，红条）和其他类别（底部，蓝条）进行训练的网络的性能。d 网络特征向量的 t-SNE 嵌入密度图。

该研究使用模拟大脑听觉信息处理的人工深度神经网络，即使训练数据中不包含音乐，也可以通过经由自然声音训练，使人工神经网络自发地涌现出适应检测音乐的单元。音乐检测单元遵循在大脑中观察到的群体水平反应特征，以多个时间尺度对音乐的时间结构进行编码。这种区别来自于特征提取层中音乐选择单元的反应。音乐选择单元对音乐的时间结构非常敏感，这一点可在大脑中的音乐选择性神经群中观察到。

图2：a）无音乐训练网络中各单元对音乐（红色）和非音乐（蓝色）刺激的平均反应直方图。b 音乐选择性单元对音乐（红色）和非音乐刺激的反应。插图：未训练网络中 MSI 值最高的 12.5% 单元对音乐和非音乐刺激的反应。c）音乐选择性单元对音乐（红色）和非音乐（蓝色）的响应，使用的是标准化振幅的训练数据集。d 使用音乐选择单元的响应（左）和线性分类器的性能（右）对音乐和非音乐进行二元分类。

图3：使用未包含音乐训练的网络示意，b）与一般性网络相比，用随机标签训练的网络中 MSI 值最高的 12.5% 单元对音乐的响应。为了对两种情况进行归一化处理，每个反应都除以每个网络对原始声音的平均反应。c）特定单元消减后的消融检验（ablation test）后的网络性能，去除表征音乐的单元对网络性能影响最大

进一步的研究表明，音乐选择性可以作为自然声音泛化的功能基础，揭示它是如何在不学习音乐的情况下涌现的。研究发现泛化过程对于音乐选择性的涌现至关重要，并且音乐选择性可以作为自然声音泛化的功能基础，从而阐明其起源。这些发现表明，处理自然声音的进化适应可以为我们的音乐感提供最初的蓝图。综上所述，这些结果支持了一种可能性，即处理自然声音的进化压力促成了音乐通用模板的出现。

编译｜郭瑞东

神经动力学模型读书会

详情请见：

500+神经动力学社区成员，邀你共同点亮更多脑科学研究的岛屿

‍推荐阅读1. 前沿速递：神经网络中的功能模块化与解剖学模块化同时涌现2. Nat. Commun. 速递：抽象表征从训练执行多任务的神经网络中自然涌现3. Nat. Mach. Intell. 速递：空间嵌入式循环神经网络揭示结构和神经功能发现之间的广泛联系4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程5. 加入集智学园VIP，一次性获取集智平台所有内容资源6. 加入集智，一起复杂！

点击“阅读原文”，报名读书会