Statistics of correlations in nonlinear recurrent neural networks
German Mato, Facundo Rigatuso, Gonzalo Torroba
相关性的统计是描述循环神经网络集体动力学的核心数量。 我们得出了大量神经元极限中非线性循环网络相关性统计的确切表达式,包括系统 1/N 修正。 我们的方法使用网络随机动力学的路径整体表示,将描述减少到几个集体变量,并实现高效的计算。 这概括了线性网络上的先前结果,包括广泛的非线性激活函数,这些函数在路径积分中作为交互项输入。 这些相互作用可以解决线性理论的不稳定性,并产生严格的积极的参与维度。 我们为电源法激活提供了明确的结果,揭示了由网络耦合控制的缩放行为。 此外,我们还介绍了基于Pade近似值的激活函数类别,并为它们的相关性统计提供分析预测。 数值模拟以出色的一致性证实了我们的理论结果。
The statistics of correlations are central quantities characterizing the collective dynamics of recurrent neural networks. We derive exact expressions for the statistics of correlations of nonlinear recurrent networks in the limit of a large number N of neurons, including systematic 1/N corrections. Our approach uses a path-integral representation of the network's stochastic dynamics, which reduces the description to a few collective variables and enables efficient computation. This generalizes ...