由随机神经网络生成的函数的非线性点

​

Points of non-linearity of functions generated by random neural networks

解决问题：本篇论文旨在探讨使用ReLU激活函数的随机神经网络生成的函数中的非线性点分布，并解释为什么神经网络可能会偏向于输出几何形状更简单的函数，以及为什么某些信息理论复杂度较低的函数对于神经网络来说仍然难以逼近。这是一个新颖的问题。

关键思路：本文使用概率分布随机选择神经网络的参数，计算非线性点的期望分布。结果表明，神经网络可能会偏向于输出几何形状更简单的函数，这是由于ReLU激活函数的非线性特性导致的。相比当前领域的研究，本文的关键思路在于研究神经网络生成函数的几何形状和信息理论复杂度之间的关系。

其他亮点：本文的实验设计使用了概率分布随机选择神经网络的参数，且使用了多个数据集进行验证。作者还提供了开源代码。本文的研究为解释神经网络生成函数的几何形状和信息理论复杂度之间的关系提供了新的思路。需要进一步深入研究的是，如何通过调整神经网络参数来优化函数生成的几何形状和信息理论复杂度。

关于作者：David Holmes是一位研究神经网络的专家，曾在多个机构工作，包括牛津大学和谷歌。他的代表作包括《A tutorial on deep learning part 2: Autoencoders, convolutional neural networks and recurrent neural networks》和《Stochastic gradient descent with momentum》。

相关研究：近期其他相关研究包括《On the Expressive Power of Deep Learning: A Tensor Analysis》（作者：Mauro Maggioni，机构：杜克大学）和《A Theoretical Framework for Robustness of (Deep) Classifiers against Adversarial Samples》（作者：Nicolas Papernot，机构：宾夕法尼亚州立大学）。

论文摘要：我们考虑由一个具有1个隐藏激活层、任意宽度和ReLU激活函数的神经网络输出的从实数到实数的函数。我们假设神经网络的参数是根据不同的概率分布均匀随机选择的，并计算非线性点的预期分布。我们利用这些结果来解释为什么网络可能会偏向于输出几何形状更简单的函数，以及为什么某些信息理论复杂度较低的函数仍然难以被神经网络逼近。

​Read More