Convergent Weight and Activation Dynamics in Memristor Neural Networks
Mauro Di Marco, Mauro Forti, Luca Pancioni, Giacomo Innocenti, Alberto Tesi
动态反馈神经网络(NN)的融合,如Cohen-Grossberg,Hopfield和蜂窝NNs,长期以来一直是NN理论的主力军。 事实上,在存在多个稳定均衡点(EP)的情况下收敛对于实现内容可地址记忆和实时解决其他几个信号处理任务至关重要。 使用收敛NN有两种典型的方法,即:a)让激活进化,同时保持固定权重和输入(激活动力学)或b)调整权重,同时保持固定激活(权重动力学)。 正如Hirsch在一篇开创性论文中所说,还有另一种有趣的可能性,即让神经元互连权重在同时运行激活动力学(权重激活动力学)时进化。 体重激活动力学也很重要,因为它比其他两种神经系统建模更合理。 该论文首次以系统方式分析一类记忆器反馈动态NN的重量激活动力学的收敛特性,从而开辟了新的领域。 主要结果是,在关于度量相合器结构的合适假设下,解决方案(权重和激活)收敛到EP,但最多只有一组零测量的初始条件。 结果包括NN具有多个稳定EP的最重要案例。
Convergence of dynamic feedback neural networks (NNs), as the Cohen-Grossberg, Hopfield and cellular NNs, has been for a long time a workhorse of NN theory. Indeed, convergence in the presence of multiple stable equilibrium points (EPs) is crucial to implement content addressable memories and solve several other signal processing tasks in real time. There are two typical ways to use a convergent NN, i.e.: a) let the activations evolve while maintaining fixed weights and inputs (activation dynami...