Near-Equilibrium Propagation training in nonlinear wave systems
Karol Sajnok, Michał Matuszewski
反向传播学习算法是现代人工智能的主力军,在物理神经网络中很难实现。 均衡传播(EP)是一种具有可比效率和强大的现场培训潜力的替代品。 我们将 EP 学习扩展到离散和连续的复杂值波系统。 与以前的EP实现相反,我们的方案在弱耗散方案中有效,并且很容易适用于广泛的物理设置,即使没有定义明确的节点,其中可训练的节点间连接也可以被可训练的本地潜力取代。 我们测试由广义Gross-Pitaevskii动力学控制的驱动耗散激子-极子凝聚态的方法。 关于标准基准的数值研究,包括简单的逻辑任务和手写的数字识别,证明了稳定的收敛,在物理系统中建立了一条实际的路线,其中系统控制仅限于局部参数。
Backpropagation learning algorithm, the workhorse of modern artificial intelligence, is notoriously difficult to implement in physical neural networks. Equilibrium Propagation (EP) is an alternative with comparable efficiency and strong potential for in-situ training. We extend EP learning to both discrete and continuous complex-valued wave systems. In contrast to previous EP implementations, our scheme is valid in the weakly dissipative regime, and readily applicable to a wide range of physical...